NiFi에서 스케쥴링탭에 Cron 표현식에 대한 설명입니다. 포로세서의 스케쥴링탭 위 이미지가 스케쥴링 탭의 기본 구성입니다. 구성된 속성으로는 Scheduling Strategy, Concurrent Tasks, Excution, Run Schedule, Run Duration이 있습니다 Scheduling Strategy (일정 관리 전략) : 프로세서를 일정에 따라 처리하는 데 사용된 전략 Concurrent Tasks (동시에 진행되는 작업) : 프로세서에 동시에 예약되어야 하는 작업의 수 Excution (실행) : 클러스터링될 때 이 프로세서가 실행될 노드 Run Schedule (실행 계획) : 작업 실행 사이에 경과해야 하는 시간 주요 속성인 Scheduling Strategy을 살펴보면 ..

NiFi에서 사용되는 주요 데이터 포맷에 대한 설명입니다. JSON 설명: JSON은 경량의 데이터 교환 형식으로, 사람과 기계가 모두 이해하기 쉬운 텍스트 형태의 데이터입니다. 가장 일반적인 데이터 포맷입니다. Parquet 설명: Parquet는 컬럼 기반의 저장 포맷으로, 대용량 데이터 처리 및 저장에 최적화되어 있습니다. 압축률이 높고 쿼리 성능이 우수합니다. 주로 CSV 파일 데이터를 읽고쓸때 Parquet 데이터 형식을 사용합니다. Avro 설명: Avro는 스키마 기반의 데이터 직렬화 형식으로, 이진 형태로 데이터를 저장합니다. 유연한 스키마 및 빠른 직렬화로 데이터 교환에 적합합니다. 주로 사용하는 ExecuteSQL 프로세서 결과값이 Avro 데이터 형식으로 읽어드립니다. 아파치 아브로(..

NiFi에서 Connection Pool 설정을 하는 방법입니다. Connection Pool 설정 NiFi 대시보드에서 우클릭하여 컨텍스트 메뉴의 Configure을 클릭합니다. Java Configuration 창에서 추가(add) 버튼을 누르면 Add Controller Serviece 창이 나타납니다. 키워드(DBCPConnectionPool)를 입력하여 검색한 뒤 해당 서비스를 추가합니다. 추가된 DBCPConnectionPool 서비스 확인이 가능하며 설정이 다 되지 않아 Invalid 오류 표기 상태입니다. 우측의 톱니바퀴를 클릭합니다. DBCPConnectionPool 서비스의 설정 팝업이 뜹니다. DBCPConnectionPool Properties 주요 설정사항은 총 5가지입니다. Da..

이번 장부터는 Apache nifi 표현 언어 가이드 2장에 이어 docs 내용의 함수부터 번역하여 기술하겠습니다. 문자열 조작 입력 유형 반환 유형 설명 예 toUpper String String 문자열을 모두 대문자로 변환합니다 "abc" => "ABC" toLower String String 문자열을 모두 소문자로 변환합니다 "ABC" => "abc" trim String String 문자열 앞뒤의 공백을 제거합니다 " 1 2 3 " => "123" substring String String 문자열의 일부를 가져옵니다 별도 작성 substringBefore String String 특정 문자열이 등장하기 전까지 가져옵니다 별도 작성 substringBeforeLast String String 특정 ..

이번 장부터는 Apache nifi 표현 언어 가이드 1장에 이어 docs 내용의 함수부터 번역하여 기술하겠습니다. 함수 함수는 속성 값들을 조작하고 비교하는 편리한 방법을 제공합니다. 표현 언어는 자동화된 데이터 흐름의 요구를 충족하기 위해 다양한 함수를 제공합니다. 각 함수는 0개 이상의 인자를 받고 하나의 값을 반환합니다. 이러한 함수들은 연결되어 강력한 표현식을 만들어 조건을 평가하고 값들을 조작하는 데 사용될 수 있습니다. 데이터 유형 함수의 인자와 반환되는 값은 특정한 데이터 유형을 가지고 있습니다. 표현 언어는 여러가지 다른 데이터 유형을 지원합니다. 문자열(String) : 문자열은 숫자, 문자, 공백 및 특수문자로 구성된 문자의 연속입니다. 숫자(Number) : Number는 하나 이상..

이번 장부터는 Apache nifi 표현 언어 가이드 docs 내용을 번역하여 기술하겠습니다. 개요 아파치 nifi의 모든 데이터는 플로우파일이라는 추상화로 표현됩니다. 플로우파일은 두 가지 주요 요소로 구성됩니다. 내용(content)과 속성(attributes)으로. 플로우 파일의 내용 부분은 작업 대상인 데이터를 나타내고, 속성 부분은 데이터 자체 또는 메타데이터에 관한 정보를 나타냅니다. 속성은 데이터에 대해 알려진 정보와 데이터를 적절하게 라우팅 하고 처리하는데 유용한 정보를 나타내는 키-값 쌍입니다. 로컬 파일 시스템에서 가져온 파일의 예를들면, 플로우파일에는 파일 시스템의 파일 이름을 의미하는 filename이라는 속성이 있습니다. 또한 플로우파일에는 이 파일이 위치한 디렉토리를 반영하는 p..