루씬 (Lucene) 의 기본 알고리즘이 TF/IDF에서 BM25로 바뀌면서 Elasticsearch 또한 5.0버전 이후부터 기본 유사도 알고리즘이 BM25로 바뀌었다. 오늘은 TF/IDF 알고리즘과 현재 엘라스틱서치에서 사용되고 있는 BM25 알고리즘에 대해 정리하려고 한다. BM25 우선 기본 BM25의 수식을 보자면 위와 같다. ... ... ... TF/IDF 먼저 알아보도록 하자. TF/IDF TF/IDF는 단어가 얼마나 반복되는지, 얼마나 자주 사용되는지가 점수에 영향을 미친다. 하나의 문서에서 단어가 여러번 반복되면 점수가 높아지지만 전체 문서에서 단어가 자주 반복된다면 점수가 낮아지게 된다. TF - 단어 빈도 TF는 특정 문서에서 단어가 등장한 횟수를 말한다. 문서에서 특정 단어가 자주..

Introduction 이번 글에서는 아파치 나이파이에서 SplitJson 프로세서에서 JsonPath Expression 작성 방법에 대해서 설명합니다. NiFi에서 조회된 List들을 split~프로세서들을 사용하여 여러개의 별도 플로우 파일로 관리 할 수 있습니다. 그 중에서 SplitJson을 사용하는데 있어서 JsonPath Expression가 중요한 요소로 작용합니다. SplitJson 프로세서에서의 PROPERTIES, JsonPath Expression 필드 JsonPath Expression 작성 예시 $[*] => 모든 요소로 분할 $[*].name => 특정 name 필드를 선택 $[?(@.id == 2)] => 특정 id 필드의 값이 2인 요소 $[*].user.name => 특정..

Introduction 이번 글에서는 아파치 나이파이에서 Scheduling 관리 방법에 대해서 설명합니다. NiFi에서는 프로세스 스케줄링은 cron 표현식을 사용하여 정의됩니다. 원하는 시간에 흐름 파일을 실행하려면 cron 표현식을 사용하여 Schedule을 설정해야 합니다. Scheduling Tab 프로세스 그룹으로 진입 후, 첫번째 수행 프로세서를 선택합니다. "Scheduling" 탭을 선택하고, "Scheduling Strategy"에서 "CRON driven"을 선택합니다. 그리고 "Run Schedule"에는 cron 표현식을 입력합니다. 0 0 11 * * ?은 매일 11:00에 실행됩니다. 이상으로 CRON 표현식을 작성하여 Schedule을 작성해보았습니다.

Introduction 이번 글에서는 rules of Hooks에 이어서, 기본이 되는 Basic Hooks에 대해서 소개합니다. 1. useState 컴포넌트에 상태 변수를 추가할 수 있게 해주는 기능입니다. useState는 함수 컴포넌트 내에서 상태 변수를 선언하고 업데이트하는 데 사용됩니다. 다음은 기본적인 사용법입니다: import { useState } from "react"; export default function Home() { const [count, setCount] = useState(0); return ( Next.js Example setCount(count + 1)}>Click me! Clicked {count} times. ); } 조건부 랜더링으로 사용된 예 const [..

Elasticsearch란? 검색엔진의 시초인 루씬 (Lucene)을 기반으로 하고 있으며, 비정형 데이터를 색인하고 검색하는 것이 가능하며, 장점 중 하나인 역색인 구조를 사용하므로써 빠른 검색이 가능하다. 또한 분산 및 병렬처리, Restful API 제공 등 다양한 기능을 제공한다. 비정형 데이터 : 정해진 규칙이 없는 데이터 색인 : 문서에서 키워드를 찾아 보기 쉽도록 정렬 및 나열 역색인 : 키워드를 통해 문서를 찾는 방식 Elasticsearch 특징 ElasticSearch는 기본적으로 HTTP 통신을 통해 JSON 형식의 문서 단위로 저장하며, 문서는 인덱스 라는 논리적인 데이터베이스에 저장된다. 이렇게 저장된 데이터는 분산처리를 통해 실시간성으로 빠른 검색이 가능하다. 또한 검색엔진이지만..

쿠버네티스 컨테이너인 파드는 종료될 때 컨테이너를 삭제하고 파드내 임시 디스크도 같이 삭제된다. 상태와 데이터를 저장해야 할 때 쿠버네티스는 파드와 데이터를 분리해서 영구 볼륨이라고 하는 별도의 추상화된 리소스를 제공한다. 쿠버네티스 볼륨을 구성하는 주요 리소스로는 PV(PersistentVolume, 영구볼륨), PVC(PersistentVolumeClaim, 영구볼륨 요청), SC(StorageClass)가 있다. 오픈소스 OpenEBS HostPath를 이용해 스토리지 관련 설정을 해보자. 설치 설치는 매우 간단하다, 저장소의 매니페스트를 통해서 바로 설치하면 된다. kubectl apply -f https://openebs.github.io/charts/openebs-operator.yaml 설치..