형태소분석이란? 형태소란 언어의 최소 의미 단위를 말하며, 형태소 분석이란 형태소보다 큰 언어 단위인 어절, 문장을 최소 의미인 형태소로 분절하는 것이다. Mecab Mecab-ko는 오픈소스 한글 형태소 분석기로, Mecab 이라고 하는 일본어 형태소 분석기를 차용하여 한글 특성을 반영한 분석기이다. 많은 형태소 분석기 중 직접 테스트를 해보았을때 형태소 분석 및 시간이 가장 효율적이어서 Mecab을 사용하였다. RDB vs Elasticsearch 속도 비교 case 1 : 데이터 10만건 데이터에서 10000건 단순 조회 case 2 : 데이터 10만건 데이터에서 조건문 1개 조회 case 3 : 데이터 10만건 데이터에서 조건문 3개 조회

Mapping이란? Mapping은 필드가 저장되고 인덱싱되는 방식을 정의하는 프로세스다. Elasticsearch는 명시적으로 필드를 정의하지 않아도 데이터 유형에 따라 데이터 타입에 대한 매핑 정보가 자동으로 생성된다. 하지만, 자신이 원하지 않는 타입으로 지정될 경우 수정이 불가능하므로 상황에 따라 필드에 미리 매핑정보를 정의해야 하는 경우가 있다. Field Data Type Field Type 설명 Text keyword 입력된 문자열을 하나의 토큰으로 저장한다. 검색 시 필터링, 정렬, 집계 시 많이 사용하며, 별도의 분석기를 거치지 않기 때문에 키워드 등 정확한 검색을 할때 유용 text 입련된 문자열을 쪼개어 역색인 구조로 만든다. Numeric long 64비트 정수 integer 32비..

Elasticsearch란? 검색엔진의 시초인 루씬 (Lucene)을 기반으로 하고 있으며, 비정형 데이터를 색인하고 검색하는 것이 가능하며, 장점 중 하나인 역색인 구조를 사용하므로써 빠른 검색이 가능하다. Elasticsearch 기본 용어 용어 설명 Index 관계형 데이터베이스에서 table과 같이 데이터를 저장하는 공간 Shard 관계형 데이터베이스의 파티션과 같이 인덱스 내부에 색인된 데이터는 여러개의 파티션으로 구성 Document 관계형 데이터베이스의 row와 같이 데이터가 저장되는 최소 단위( JSON 포맷으로 저장) Field 관계형 데이터베이스의 Column과 같이 문서를 구성하기 위한 속성 Mapping 문서의 필드, 필드 속성을 정의하고 색인 방법을 정의 Elasticsearch의..

목차 DataLake의 개념 설명과 사례 Apache NiFi를 활용한 데이터 수집 전략 Apache NiFi를 활용한 플래티어의 구독형 DataLake 생태계 구축 DataLake 데이터 레이크(Data Lake)는 다양한 종류의 비정형, 반정형, 정형 데이터를 저장할 수 있는 시스템을 말하며, 빅 데이터를 보관하고 분석하는 데 사용됩니다. 기업은 데이터 레이크를 사용함으로써 비용과 복잡성을 줄이고 유연한 분석 및 데이터 활용이 가능해집니다. 데이터 레이크 종류 Amazon Lake Fomation (클라우드 기반 데이터 레이크) Apach Hadoop (오픈 소스 데이터 레이크 엔진) HDFS, Hadoop Distributed File System (온-프레미스 데이터 레이크 파일시스템) 데이터 레..

목차 Apache NiFi의 활용 사례 소개 데모 Flow를 소개 Apache NiFi 활용 사례 소개 나이파이를 실제 활용 사례를 소개합니다. 데이터베이스 간 데이터 이전부터 데이터 레이크 구축 그리고 나이파이가 어떻게 데이터 통합 시나리오에서 활용되는지 살펴보겠습니다. 데이터베이스 간 이전 DB to DB 데이터베이스 간 이전으로 실제 사례 및 효과를 살펴보겠습니다. 플랫폼 마이그레이션 (아래의 Flow) - 기존 플랫폼에서 새로운 플랫폼으로의 마이그레이션 및 동기화 서비스 업데이트 - 새로운 서비르소 업데이트할 때 데이터 이전은 중요한 요소 - 기존 데이터베이스에 새로운 스키마를 적용하거나 새로운 데이터베이스에 데이터를 이전 함으로 업그레이드 데이터 중심 어플리케이션 이전 - 예를 들어 CRM(고객..

목차 Apache NiFi란 무엇입니까? Apache NiFi의 기대 성능과 기능의 개요 Apache NiFi란 무엇입니까? 본론에 앞서, 아파치 재단은 설립 이후 다수의 중요한 오픈소스 프로젝트를 주도해 오면서, 빅데이터 분야에 다양한 부분에 이바지하고 있습니다. 그 분야는 하둡, 톰캣, 제로니모 등을 시작으로 그루비, 스파크, 톰캣, 플렉스 등 많습니다. 그 중 Nifi는 시스템 간 데이터 흐름을 자동화하기 위해 구축되었습니다. '데이터 흐름'이라는 용어는 다양한 맥락에서 사용되지만, 여기서는 시스템 간 정보를 자동화하고 관리하는 것을 의미합니다. 조금 더 실용성 있게 접근한다면, 기업이 연관성 있는 둘 이상의 시스템을 가지고 있을 때 '데이터 흐름'이 존재한다고 볼 수 있습니다. 여기서 어떤 시스템..