형태소분석이란? 형태소란 언어의 최소 의미 단위를 말하며, 형태소 분석이란 형태소보다 큰 언어 단위인 어절, 문장을 최소 의미인 형태소로 분절하는 것이다. Mecab Mecab-ko는 오픈소스 한글 형태소 분석기로, Mecab 이라고 하는 일본어 형태소 분석기를 차용하여 한글 특성을 반영한 분석기이다. 많은 형태소 분석기 중 직접 테스트를 해보았을때 형태소 분석 및 시간이 가장 효율적이어서 Mecab을 사용하였다. RDB vs Elasticsearch 속도 비교 case 1 : 데이터 10만건 데이터에서 10000건 단순 조회 case 2 : 데이터 10만건 데이터에서 조건문 1개 조회 case 3 : 데이터 10만건 데이터에서 조건문 3개 조회 단순 조회에서는 속도차이가 크게 다르지 않았지만 조건문이 ..

Elasticsearch에서는 검색을 위해 JSON을 기반으로 하는 QueryDSL을 사용하여 점수를 계산하고 점수로 검색 결과를 정렬한다. Query DSL Match all Query 모든 문서를 검색하는 쿼리이다. // match all 검색 예시 { "query" : { "match_all": {} } } Match Query 텍스트, 숫자, 날짜 등 색인된 데이터와 일치하는 문서를 찾는 기본 필드 검색 쿼리이다. Match 검색은 기본적으로 or 검색이 되며 and 검색을 하고 싶은 경우에는 operator 값을 and로 변경해주면 된다. ( ex : '플레티어 테크팀' 으로 검색 시 or 검색이면 플레티어 or 테크팀으로 각각 검색되어 검색 결과가 나온다.) // 상품명 검색 예시 { "que..

Mapping이란? Mapping은 필드가 저장되고 인덱싱되는 방식을 정의하는 프로세스다. Elasticsearch는 명시적으로 필드를 정의하지 않아도 데이터 유형에 따라 데이터 타입에 대한 매핑 정보가 자동으로 생성된다. 하지만, 자신이 원하지 않는 타입으로 지정될 경우 수정이 불가능하므로 상황에 따라 필드에 미리 매핑정보를 정의해야 하는 경우가 있다. Field Data Type Field Type 설명 Text keyword 입력된 문자열을 하나의 토큰으로 저장한다. 검색 시 필터링, 정렬, 집계 시 많이 사용하며, 별도의 분석기를 거치지 않기 때문에 키워드 등 정확한 검색을 할때 유용 text 입련된 문자열을 쪼개어 역색인 구조로 만든다. Numeric long 64비트 정수 integer 32비..

루씬 (Lucene) 의 기본 알고리즘이 TF/IDF에서 BM25로 바뀌면서 Elasticsearch 또한 5.0버전 이후부터 기본 유사도 알고리즘이 BM25로 바뀌었다. 오늘은 TF/IDF 알고리즘과 현재 엘라스틱서치에서 사용되고 있는 BM25 알고리즘에 대해 정리하려고 한다. BM25 우선 기본 BM25의 수식을 보자면 위와 같다. ... ... ... TF/IDF 먼저 알아보도록 하자. TF/IDF TF/IDF는 단어가 얼마나 반복되는지, 얼마나 자주 사용되는지가 점수에 영향을 미친다. 하나의 문서에서 단어가 여러번 반복되면 점수가 높아지지만 전체 문서에서 단어가 자주 반복된다면 점수가 낮아지게 된다. TF - 단어 빈도 TF는 특정 문서에서 단어가 등장한 횟수를 말한다. 문서에서 특정 단어가 자주..

Elasticsearch란? 검색엔진의 시초인 루씬 (Lucene)을 기반으로 하고 있으며, 비정형 데이터를 색인하고 검색하는 것이 가능하며, 장점 중 하나인 역색인 구조를 사용하므로써 빠른 검색이 가능하다. 또한 분산 및 병렬처리, Restful API 제공 등 다양한 기능을 제공한다. 비정형 데이터 : 정해진 규칙이 없는 데이터 색인 : 문서에서 키워드를 찾아 보기 쉽도록 정렬 및 나열 역색인 : 키워드를 통해 문서를 찾는 방식 Elasticsearch 특징 ElasticSearch는 기본적으로 HTTP 통신을 통해 JSON 형식의 문서 단위로 저장하며, 문서는 인덱스 라는 논리적인 데이터베이스에 저장된다. 이렇게 저장된 데이터는 분산처리를 통해 실시간성으로 빠른 검색이 가능하다. 또한 검색엔진이지만..