검색 품질을 높이기 위해서는 텍스트의 정확한 분석이 필수입니다. 특히 한국어는 띄어쓰기만으로 의미를 구분하기 어렵기 때문에 형태소 분석이 중요합니다. 이번 글에서는 OpenSearch의 내장 분석기인 nori_analyzer를 사용하여 형태소 분석과 중복 단어 제거를 효율적으로 처리하는 방법을 소개합니다.형태소 분석기: Nori AnalyzerNori Analyzer는 Elasticsearch와 OpenSearch에서 기본 제공하는 한국어 형태소 분석기로, 텍스트를 의미 단위(형태소)로 쪼개줍니다.1. 중복 단어 제거 필요성형태소 분석 과정에서 특정 위치에서 중복된 토큰이 생성될 수 있습니다. 예를 들어, 동의어 필터와 함께 사용하면 동일한 의미를 갖는 단어들이 같은 위치에서 중복 생성될 수 있습니다. ..

먼저 compose ymal 파일에 path.repo 경로가 설정되어있어야한다.이 경로는 인덱스 snapshot 파일이 저장되는 위치이다. environment- path.repo=/mnt/snapshots volumes- /mnt/snapshots:/mnt/snapshots 이렇게 설정해놓으면 해당 디렉토리 경로에 snapshot 이 저장되도록 설정한 것이다.rebuild하고 opensearch dashboard - dev tool에 들어간다. PUT _snapshot/my_backup{ "type": "fs", "settings": { "location": "/mnt/snapshots", "compress": true }}아까 설정한 경로를 location 에 입력하고 해당 쿼리를 실..

오픈서치 설치를 공유간단한 예제 설치사이트공식 Sample 설치간단한 예제설치 + entrypoint 에 plugins 설치 추가services: opensearch-node: image: opensearchproject/opensearch:2.14.0 container_name: opensearch-node environment: - discovery.type=single-node - OPENSEARCH_INITIAL_ADMIN_PASSWORD=abcde12345 - bootstrap.memory_lock=true - "OPENSEARCH_JAVA_OPTS=-Xms512m -Xmx512m" # Set min and max JVM heap sizes ..

형태소분석이란? 형태소란 언어의 최소 의미 단위를 말하며, 형태소 분석이란 형태소보다 큰 언어 단위인 어절, 문장을 최소 의미인 형태소로 분절하는 것이다. Mecab Mecab-ko는 오픈소스 한글 형태소 분석기로, Mecab 이라고 하는 일본어 형태소 분석기를 차용하여 한글 특성을 반영한 분석기이다. 많은 형태소 분석기 중 직접 테스트를 해보았을때 형태소 분석 및 시간이 가장 효율적이어서 Mecab을 사용하였다. RDB vs Elasticsearch 속도 비교 case 1 : 데이터 10만건 데이터에서 10000건 단순 조회 case 2 : 데이터 10만건 데이터에서 조건문 1개 조회 case 3 : 데이터 10만건 데이터에서 조건문 3개 조회 단순 조회에서는 속도차이가 크게 다르지 않았지만 조건문이 ..

Elasticsearch에서는 검색을 위해 JSON을 기반으로 하는 QueryDSL을 사용하여 점수를 계산하고 점수로 검색 결과를 정렬한다. Query DSL Match all Query 모든 문서를 검색하는 쿼리이다. // match all 검색 예시 { "query" : { "match_all": {} } } Match Query 텍스트, 숫자, 날짜 등 색인된 데이터와 일치하는 문서를 찾는 기본 필드 검색 쿼리이다. Match 검색은 기본적으로 or 검색이 되며 and 검색을 하고 싶은 경우에는 operator 값을 and로 변경해주면 된다. ( ex : '플레티어 테크팀' 으로 검색 시 or 검색이면 플레티어 or 테크팀으로 각각 검색되어 검색 결과가 나온다.) // 상품명 검색 예시 { "que..

Mapping이란? Mapping은 필드가 저장되고 인덱싱되는 방식을 정의하는 프로세스다. Elasticsearch는 명시적으로 필드를 정의하지 않아도 데이터 유형에 따라 데이터 타입에 대한 매핑 정보가 자동으로 생성된다. 하지만, 자신이 원하지 않는 타입으로 지정될 경우 수정이 불가능하므로 상황에 따라 필드에 미리 매핑정보를 정의해야 하는 경우가 있다. Field Data Type Field Type 설명 Text keyword 입력된 문자열을 하나의 토큰으로 저장한다. 검색 시 필터링, 정렬, 집계 시 많이 사용하며, 별도의 분석기를 거치지 않기 때문에 키워드 등 정확한 검색을 할때 유용 text 입련된 문자열을 쪼개어 역색인 구조로 만든다. Numeric long 64비트 정수 integer 32비..