플래티어 연구소 테크 블로그
    • 메뉴 닫기
    • 글작성
    • 방명록
    • 환경설정
      • 분류 전체보기 (470) N
        • Ai Word 사전 (0)
        • A.I.(인공지능) & M.L.(머신러닝) (94)
          • Development Environments (9)
          • A.I. Information (14)
          • Python (6)
          • transformers (13)
          • 머신러닝 (1)
          • 딥러닝 (4)
          • 신경망 이론 (5)
          • LLM (31)
          • Agent (4)
        • DevOps와 Infra (62) N
          • DevOps 일반 (22)
          • Docker Container (3)
          • Linux (2)
          • AWS EKS (16)
          • AWS (4)
          • Kubernetes On Premise (13)
          • Security (1)
          • IDC 서버 (1) N
        • 검색엔진 (8)
          • Elasticsearch (5)
          • Opensearch (3)
        • 빅데이터 (31)
          • Mongo DB (4)
          • Apache Nifi (21)
          • Scala (4)
          • Apache Spark (2)
        • 네트워크 (1)
          • SSL (1)
        • Quality Assurance (3)
          • E2E Test (3)
        • Backend(Framework) (41)
          • Java (1)
          • Spring (1)
          • Spring Boot Batch (3)
          • NestJS (9)
          • NestJS 개요(공식문서 번역) (20)
          • Cache (3)
          • Rust (4)
          • Go (0)
        • Frontend (Next.js Tailwind .. (52)
          • Frameworks (6)
          • Next.js (30)
          • Typescript (1)
          • Tailwind CSS (9)
          • React.js (4)
        • Next.js 개발 가이드 (42)
          • 01. Set up (7)
          • 02. 코딩 가이드 및 필수 패키지 (9)
          • 03. 퍼블 가이드 (3)
          • 04. Data fetching (2)
          • 05. State management (3)
          • 06. Learn Next.js 공식 가이드 (18)
        • Nuxt 공식문서 번역 (96)
          • 개요 (15)
          • Directories (23)
          • Components (12)
          • Composables (21)
          • Utils (25)
        • Nuxt 개발 가이드 (13)
          • 01. Set up (9)
          • 02. 코딩 가이드 및 필수 패키지 (0)
          • 03. 퍼블 가이드 (0)
          • 04. Data fetching (3)
          • 05. State management (1)
        • Tech 공유 세미나 - 2차 (13)
        • 기타 (13)
          • IT기타 (6)
          • story (5)
          • 문정역 여기어때 (1)
    검색엔진/Opensearch

    OpenSearch를 활용한 형태소 분석과 중복 단어 제거

    검색 품질을 높이기 위해서는 텍스트의 정확한 분석이 필수입니다. 특히 한국어는 띄어쓰기만으로 의미를 구분하기 어렵기 때문에 형태소 분석이 중요합니다. 이번 글에서는 OpenSearch의 내장 분석기인 nori_analyzer를 사용하여 형태소 분석과 중복 단어 제거를 효율적으로 처리하는 방법을 소개합니다.형태소 분석기: Nori AnalyzerNori Analyzer는 Elasticsearch와 OpenSearch에서 기본 제공하는 한국어 형태소 분석기로, 텍스트를 의미 단위(형태소)로 쪼개줍니다.1. 중복 단어 제거 필요성형태소 분석 과정에서 특정 위치에서 중복된 토큰이 생성될 수 있습니다. 예를 들어, 동의어 필터와 함께 사용하면 동일한 의미를 갖는 단어들이 같은 위치에서 중복 생성될 수 있습니다. ..

    2025. 3. 28. 10:30 / Tech쏜
    검색엔진/Opensearch

    [opensearch] 인덱스 snapshop 뜨는 방법

    먼저 compose ymal 파일에 path.repo 경로가 설정되어있어야한다.이 경로는 인덱스 snapshot 파일이 저장되는 위치이다. environment- path.repo=/mnt/snapshots volumes- /mnt/snapshots:/mnt/snapshots 이렇게 설정해놓으면 해당 디렉토리 경로에 snapshot 이 저장되도록 설정한 것이다.rebuild하고 opensearch dashboard - dev tool에 들어간다. PUT _snapshot/my_backup{ "type": "fs", "settings": { "location": "/mnt/snapshots", "compress": true }}아까 설정한 경로를 location 에 입력하고 해당 쿼리를 실..

    2025. 1. 20. 11:43 / Tech쏜
    검색엔진/Opensearch

    오픈서치 기본 설치

    오픈서치 설치를 공유간단한 예제 설치사이트공식 Sample 설치간단한 예제설치 + entrypoint 에 plugins 설치 추가services: opensearch-node: image: opensearchproject/opensearch:2.14.0 container_name: opensearch-node environment: - discovery.type=single-node - OPENSEARCH_INITIAL_ADMIN_PASSWORD=abcde12345 - bootstrap.memory_lock=true - "OPENSEARCH_JAVA_OPTS=-Xms512m -Xmx512m" # Set min and max JVM heap sizes ..

    2024. 9. 24. 13:05 / Tech정또해방
    • «
    • 1
    • »

    전체 방문자

    오늘
    어제
    전체

    테크팀 개인 블로그

    정지민
    jeong
    손성준
    son
    김해수
    sunwater
    이다운
    koala
    김백엔드
    backendkim
    채희철
    bburongE

    전체 카테고리

    • 분류 전체보기 (470) N
      • Ai Word 사전 (0)
      • A.I.(인공지능) & M.L.(머신러닝) (94)
        • Development Environments (9)
        • A.I. Information (14)
        • Python (6)
        • transformers (13)
        • 머신러닝 (1)
        • 딥러닝 (4)
        • 신경망 이론 (5)
        • LLM (31)
        • Agent (4)
      • DevOps와 Infra (62) N
        • DevOps 일반 (22)
        • Docker Container (3)
        • Linux (2)
        • AWS EKS (16)
        • AWS (4)
        • Kubernetes On Premise (13)
        • Security (1)
        • IDC 서버 (1) N
      • 검색엔진 (8)
        • Elasticsearch (5)
        • Opensearch (3)
      • 빅데이터 (31)
        • Mongo DB (4)
        • Apache Nifi (21)
        • Scala (4)
        • Apache Spark (2)
      • 네트워크 (1)
        • SSL (1)
      • Quality Assurance (3)
        • E2E Test (3)
      • Backend(Framework) (41)
        • Java (1)
        • Spring (1)
        • Spring Boot Batch (3)
        • NestJS (9)
        • NestJS 개요(공식문서 번역) (20)
        • Cache (3)
        • Rust (4)
        • Go (0)
      • Frontend (Next.js Tailwind .. (52)
        • Frameworks (6)
        • Next.js (30)
        • Typescript (1)
        • Tailwind CSS (9)
        • React.js (4)
      • Next.js 개발 가이드 (42)
        • 01. Set up (7)
        • 02. 코딩 가이드 및 필수 패키지 (9)
        • 03. 퍼블 가이드 (3)
        • 04. Data fetching (2)
        • 05. State management (3)
        • 06. Learn Next.js 공식 가이드 (18)
      • Nuxt 공식문서 번역 (96)
        • 개요 (15)
        • Directories (23)
        • Components (12)
        • Composables (21)
        • Utils (25)
      • Nuxt 개발 가이드 (13)
        • 01. Set up (9)
        • 02. 코딩 가이드 및 필수 패키지 (0)
        • 03. 퍼블 가이드 (0)
        • 04. Data fetching (3)
        • 05. State management (1)
      • Tech 공유 세미나 - 2차 (13)
      • 기타 (13)
        • IT기타 (6)
        • story (5)
        • 문정역 여기어때 (1)

    블로그 인기글

    태그

    • #apach
    • #GPU
    • #AWS EKS
    • #venv
    • #python
    • #Ai
    • #langgraph
    • #이벤트리스너
    • #nextjs
    • #deepseek
    • #fine-tuning
    • #아파치
    • #검색엔진
    • #LLM
    • #HuggingFace
    • #nifi
    • #Lora
    • #pyTorch
    • #문제해결
    • #나이파이
    • #React
    • #셀레니움
    • #rag
    • #딥러닝
    • #Langchain
    • #ElasticSearch
    • #adapter_model.bin
    • #파이썬
    • #Spring Boot Batch
    • #finetuning
    MORE
    Powered by Privatenote Copyright © 플래티어 연구소 테크 블로그 All rights reserved. TistoryWhaleSkin3.4

    티스토리툴바