이번 장에서는 Apache nifi 시작 안내서(1)에 이어서 docs 중 프로세서에 대한 내용을 번역하여 기술하겠습니다. 프로세서 각 프로세서에는 데이터를 전송할 수 있는 정의된 "Relationships" 집합이 있습니다. 프로세서가 FlowFile 처리를 완료하면 해당 FlowFile을 다른 Relationships 중 하나로 전송합니다. 이는 처리 결과에 따라 사용자가 구성할 수 있습니다. 예를 들어 많은 프로세서들은 성공(success)과 실패(failure) 두 가지로 정의합니다. 사용자는 데이터를 처리하는 프로세서가 데이터를 성공적으로 처리할 수 있는 경우에는 한 경로를 통해 흐르도록 데이터를 구성하고, 프로세서가 데이터를 처리할 수 없는 경우에는 완전히 다른 방식으로 흐르도록 데이터를 구성..

이번 장에서는 아파치 나이파이에 작성된 docs 중 시작 안내서를 번역 기술하겠습니다. 이 가이드는 누구를 위한 것입니까? 이 가이드는 Nifi를 처음 사용하거나, 경험이 제한되거나, 특정 작업에만 익숙한 사용자를 대상으로 작성되었습니다. 광범위한 정보를 제공하여 보다 체계적인 리소스로 설계 작성 되었으며 참조 가이드로 유용합니다. 이 가이드는 사용자가 필요로 하는 핵심 정보만을 제공하고 nifi를 사용하여 강력하고 유연한 데이터 흐름을 빠르고 간편하게 구축하는 방법을 이해하는데 도움을 주기 위해 작성되었습니다. 이 가이드에 사용된 용어 이 가이드문서를 이해하는데 중요한 몇 가지 용어가 있습니다. FlowFile "사용자 데이터"라고도 할 수 있는 각 조각의 데이터(즉, 사용자가 처리 및 배포를 위해 n..

이번 장에서는 아파치 나이파이에 작성된 docs 중 개발자 안내서를 번역 기술하도록 하겠습니다. 소개 이 개발자 가이드의 목적은 독자가 Apache Nifi 확장 기능을 개발하는 방법을 이해하고 구성 요소를 개발하는 데 필요한 정보를 제공하는 것입니다. 확장 기능을 개발하는 데 사용되는 API에 대한 소개와 설명을 제공합니다. NiFi 구성 요소 Nifi는 여러 확장 지점을 제공하여 개발자가 애플리케이션에 기능을 추가하여 필요에 맞게 사용할 수 있도록 합니다. 다음은 가장 일반적인 확장 지점들에 대한 설명입니다. 프로세서 프로세서 인터페이스는 Nifi가 FlowFiles, 그들의 속성 및 내용에 대한 액세서를 노출하는 메커니즘입니다. 프로세서는 Nifi 데이터 플로우를 구성하는 데 사용 되는 기본 빌딩 ..

Introduction 이번 글에서는 아파치 나이파이에서 SplitJson 프로세서에서 JsonPath Expression 작성 방법에 대해서 설명합니다. NiFi에서 조회된 List들을 split~프로세서들을 사용하여 여러개의 별도 플로우 파일로 관리 할 수 있습니다. 그 중에서 SplitJson을 사용하는데 있어서 JsonPath Expression가 중요한 요소로 작용합니다. SplitJson 프로세서에서의 PROPERTIES, JsonPath Expression 필드 JsonPath Expression 작성 예시 $[*] => 모든 요소로 분할 $[*].name => 특정 name 필드를 선택 $[?(@.id == 2)] => 특정 id 필드의 값이 2인 요소 $[*].user.name => 특정..

Introduction 이번 글에서는 아파치 나이파이에서 Scheduling 관리 방법에 대해서 설명합니다. NiFi에서는 프로세스 스케줄링은 cron 표현식을 사용하여 정의됩니다. 원하는 시간에 흐름 파일을 실행하려면 cron 표현식을 사용하여 Schedule을 설정해야 합니다. Scheduling Tab 프로세스 그룹으로 진입 후, 첫번째 수행 프로세서를 선택합니다. "Scheduling" 탭을 선택하고, "Scheduling Strategy"에서 "CRON driven"을 선택합니다. 그리고 "Run Schedule"에는 cron 표현식을 입력합니다. 0 0 11 * * ?은 매일 11:00에 실행됩니다. 이상으로 CRON 표현식을 작성하여 Schedule을 작성해보았습니다.

주요 프로세서 ExecuteSQ ConvertRecord ConvertAvroToJSON JoltTransformJSON SplitAvro PutDatabaseRecord UpdateRecord InvokeHTTP 1. 주요 프로세서 ExecuteSQL 제공된 SQL 선택 쿼리를 실행합니다. 쿼리 결과는 Avro 형식으로 변환됩니다 ConvertRecord 구성된 레코드 리더 및 레코드 쓰기 컨트롤러 서비스를 사용하여 레코드를 한 데이터 형식에서 다른 데이터 형식으로 변환합니다. 판독기와 기록기는 일치하는 스키마로 구성되어야 합니다. 이는 스키마의 필드 이름이 동일해야 함을 의미합니다. ConvertAvroToJSON 바이너리 Avro 레코드를 JSON 객체로 변환합니다. 이 프로세서는 Avro 필드를 ..