NiFI의 Relationships 설명입니다. 각 프로세서에는 데이터를 전송할 수 있는 정의된 "Relationships" 집합이 있습니다. 프로세서가 FlowFile 처리를 완료하면 해당 FlowFile을 다른 Relationships 중 하나로 전송합니다. 이는 처리 결과에 따라 사용자가 구성할 수 있습니다. 대부분 프로세서들은 성공(success)과 실패(failure) 두 가지로 정의합니다. 프로세서간 일반적인 Relation 말고도 프로세스 그룹간 데이터를 전송하는 입력 포트와 출력포트도 있습니다. 입력 포트(Input Port) : 입력 포트는 데이터를 프로세스 그룹으로 전송하는 메커니즘을 제공합니다. 입력 포트를 캔버스에 끌어다 놓을 때 DFM은 포트에 이름을 지을 것을 요청받습니다. 프로..

동기화 업무를 수행하기 위해 사용한 Processor 위주의 설명입니다. 사용할 Processor 종류는 다음과 같습니다. ExecuteSQL ConvertAvroToJSON SplitJson EvaluateJsonPath PutSQL UpdateAttribute MergeRecord ExecuteSQL 제공된 SQL 선택 쿼리를 실행합니다. 쿼리 결과는 Avro 형식으로 변환됩니다. 가져온 ExecuteSQL의 모습과 이슈 사항의 이미지 최초 생성시 이슈 사항으로 'Database Connections Pooling Servie' 와 'Relationship success/failure' ExecuteSQL Properties 주요 설정사항은 총 2가지입니다. Database Connection Poo..

이 문서는 NiFi를 사용하여 동기화 업무를 수행하기 위한 안내서입니다. 목표 교육내용은 동기화 업무를 수행할 수 있는 수준의 작성 방법안내에 있습니다. 1. 소스 공유 먼저 공유 템플릿 파일을 다운로드합니다. 캔버스에서 우클릭 컨텍스트 메뉴를 통해서 Upload template 진행합니다. 템플릿을 사용하기 위해 상단 헤더바에서 템플릿 아이콘을 찾아 드래그 앤 드롭을 하고 사용할 템플릿을 선택합니다. 추가로 내려받은 템플릿은 우측상단 메뉴의 Templates 에서 관리 할 수있습니다. 3. 구성 동기화 업무는 다음과 같이 구성됩니다. 동기화 업무 그룹 타겟 동기화 그룹 동기화 로그 그룹 다음 장에서는 실제 구성하기 전에 사전 작업으로 Connection Pool 설정하는 방법을 안내하겠습니다.

NiFi에서 스케쥴링탭에 Cron 표현식에 대한 설명입니다. 포로세서의 스케쥴링탭 위 이미지가 스케쥴링 탭의 기본 구성입니다. 구성된 속성으로는 Scheduling Strategy, Concurrent Tasks, Excution, Run Schedule, Run Duration이 있습니다 Scheduling Strategy (일정 관리 전략) : 프로세서를 일정에 따라 처리하는 데 사용된 전략 Concurrent Tasks (동시에 진행되는 작업) : 프로세서에 동시에 예약되어야 하는 작업의 수 Excution (실행) : 클러스터링될 때 이 프로세서가 실행될 노드 Run Schedule (실행 계획) : 작업 실행 사이에 경과해야 하는 시간 주요 속성인 Scheduling Strategy을 살펴보면 ..

NiFi에서 사용되는 주요 데이터 포맷에 대한 설명입니다. JSON 설명: JSON은 경량의 데이터 교환 형식으로, 사람과 기계가 모두 이해하기 쉬운 텍스트 형태의 데이터입니다. 가장 일반적인 데이터 포맷입니다. Parquet 설명: Parquet는 컬럼 기반의 저장 포맷으로, 대용량 데이터 처리 및 저장에 최적화되어 있습니다. 압축률이 높고 쿼리 성능이 우수합니다. 주로 CSV 파일 데이터를 읽고쓸때 Parquet 데이터 형식을 사용합니다. Avro 설명: Avro는 스키마 기반의 데이터 직렬화 형식으로, 이진 형태로 데이터를 저장합니다. 유연한 스키마 및 빠른 직렬화로 데이터 교환에 적합합니다. 주로 사용하는 ExecuteSQL 프로세서 결과값이 Avro 데이터 형식으로 읽어드립니다. 아파치 아브로(..

NiFi에서 Connection Pool 설정을 하는 방법입니다. Connection Pool 설정 NiFi 대시보드에서 우클릭하여 컨텍스트 메뉴의 Configure을 클릭합니다. Java Configuration 창에서 추가(add) 버튼을 누르면 Add Controller Serviece 창이 나타납니다. 키워드(DBCPConnectionPool)를 입력하여 검색한 뒤 해당 서비스를 추가합니다. 추가된 DBCPConnectionPool 서비스 확인이 가능하며 설정이 다 되지 않아 Invalid 오류 표기 상태입니다. 우측의 톱니바퀴를 클릭합니다. DBCPConnectionPool 서비스의 설정 팝업이 뜹니다. DBCPConnectionPool Properties 주요 설정사항은 총 5가지입니다. Da..