Apache nifi 사용 안내서(1)

이번 장부터는 Apache nifi 사용자 가이드 docs를 번역하여 기술하겠습니다.

전문용어

데이터 흐름 관리자 (DataFlow Manager, DFM)

nifi 사용자 중 하나로 데이터 흐름의 구성 요소를 추가, 삭제, 수정할 수 있는 권한이 있는 사람을 의미합니다

 

플로우 파일 (FlowFile)

nifi에서 단인 데이터 조각을 나타냅니다. 플로우 파일은 플로우 파일 속성(attributes)과 플로우 파일 콘텐츠(content)로 구성됩니다. 콘텐츠는 플로우 파일로 표현되는 데이터입니다. 속성은 데이터에 대한 정보나 콘텍스트를 제공하는 특성으로 키-값 쌍으로 이루어져 있습니다

 

프로세서 (Processor)

데이터를 수신하거나 외부 소스에서 데이터를 추출하고, 데이터를 외부 소스로 게시하거나 트랜스폼하는 등 nifi의 구성요소입니다

 

릴레이션십 (Relationship)

각 프로세서는 그에 대응하는 릴레이션십을 가지고 있으며, 플로우 파일의 처리 결과를 나타냅니다. 프로세서가 플로우 파일의 처리를 마치면 해당 릴레이션십 중 하나로 플로우 파일을 전송합니다

 

컨트롤러 서비스 (Controller Service)

다른 구성 요소가 사용할 정보를 제공하는 확장 포인트입니다

 

보고 태스크 (Reporting Task)

nifi 인스턴스에서 일어나는 통계적 보고를 제공하기 위해 백그라운드에서 실행되는 태스크입니다

 

원격 프로세스 그룹 (Remote Process Group)

nifi 인스턴스 간 데이터 전송을 가능하게 해주는 메커니즘 중 하나입니다

 

템플릿 (Template)

재사용 가능한 데이터 흐름 부분을 선택하여 템플릿으로 만들어, 다른 NiFi 인스턴스에서도 사용할 수 있게 합니다

NiFi 사용자 인터페이스

NiFi UI는 자동화된 데이터 흐름을 생성하고 시각화하며 편집, 모니터링 및 관리하는 기능을 제공합니다. UI는 여러 세그먼트로 구분되어 있으며, 각 세그먼트는 응용 프로그램의 다른 기능을 담당합니다

DataFlow 구축

DFM은 nifi ui를 사용하여 자동화된 데이터 흐름을 구축할 수 있습니다. 도구 모음에서 캔버스로 구성 요소를 끌어서 특정 요구 사항에 맞게 구성 요소를 구성하고 구성 요소를 서로 연결하기만 하면 됩니다

캔버스에 구성 요소 추가

 

프로세서 : 프로세서는 데이터 유입, 유출, 라우팅 및 조작을 담당하기 때문에 가장 일반적으로 사용되는 구성 요소입니다. 매우 흔한 확장 지점(Extension Point)이 프로세서입니다. 프로세서를 캔버스에 끌어다 놓을 때 사용자는 어떤 종류의 프로세서를 사용할지 선택할 수 있는 대화 상자가 표시됩니다.

입력 포트(Input Port) :  입력 포트는 데이터를 프로세스 그룹으로 전송하는 메커니즘을 제공합니다. 입력 포트를 캔버스에 끌어다 놓을 때 DFM은 포트에 이름을 지을 것을 요청받습니다. 프로세스 그룹 내의 모든 포트는 고유한 이름을 가져야 합니다.

출력 포트(Output Port) :  출력 포트는 프로세스 그룹 외부로 데이터를 전송하는 메커니즘을 제공합니다. 이하 입력 포트와 같습니다.

프로세스 그룹(Process Group) : 프로세스 그룹은 일련의 컴포넌트를 논리적으로 그룹화하여 데이터 흐름을 이해하고 유지하는 데 도움이 되는 기능입니다. 

원격 프로세스 그룹(Remote Process Group, RPG) :  원격 프로세스 그룹은 프로세스 그룹과 유사한 외양과 동작을 갖고 있습니다. 원격 NiFi가 클러스터링된 인스턴스인 경우 노드가 하나 이상을 추가하는 것이 좋습니다. 이렇게 함으로써 노드 중 하나가 사용 불가능한 경우에도 초기 연결을 수립할 수 있습니다.

 

퍼널(Funnel) :  퍼널은 여러 커넥션으로부터 나온 데이터를 하나의 커넥션으로 합치는 데 사용됩니다. 여러 커넥션의 데이터를 하나의 커넥션으로 퍼널링함으로써 해당 단일 커넥션의 모든 데이터를 우선순위를 정할 수 있게 되며, 각각의 커넥션을 독립적으로 우선순위를 정하는 것보다 효율적입니다.

템플릿(Template) : 템플릿은 복잡한 플로우를 빠르게 생성하기 위한 큰 구성 블록을 제공합니다. 템플릿을 캔버스에 끌어다 놓을 때, DFM은 캔버스에 추가할 템플릿을 선택하기 위한 대화 상자를 제공받습니다.

라벨(Label) : 라벨은 데이터 흐름의 부분에 문서화를 제공하는 데 사용됩니다. 라벨을 캔버스에 놓으면 기본 크기로 생성됩니다. 라벨은 오른쪽 하단 모퉁이 핸들을 끌어 크기를 조정할 수 있습니다.

 

이상입니다. Apache nifi 사용 안내서(1)에 대한 글은 마치고 프로세서 구성에 대한 설명을 이어가도록 하겠습니다.