빅데이터/Apache Nifi

Apache nifi 사용 안내서(2)

Tech정또해방 2023. 12. 7. 13:52

이번 장에서는 Apache nifi 사용 안내서(1)에 이어서 docs 중 프로세서 구성에 대한 내용을 번역하여 기술하겠습니다.

프로세서 구성

프로세서의 탭에는 여러 가지 구성 항목이 있습니다.

프로세서 Settings Tab

  • Name : 프로세서의 이름을 변경 작성 할 수 있습니다
  • Enabled : 프로세서의 이름 옆에는 활성화 여부를 판단하는 체크박스가 있습니다
  • Penalty Duration, Yield Duration : 페널티 지속 기간은 기본값 30초, 양보 지속 기간은 기본값 1초입니다.
    데이터를 처리하는 일반적인 과정에서 이벤트가 발생할 수 있습니다. 데이터를 현재 시점에서 처리할 수 없지만 나중에 처리 가능할 수 있음을 나타내는 경우에 페널티를 부여할 수 있습니다. 마찬가지로 데이터를 처리하더라도 어떤 상황에서 더 이상 진행할 수 없을 수 있습니다. 이때에 양보 지속 기간을 설정할 수 있습니다.

프로세서 Scheduling Tab

Scheduling Strategy의 세 가지 구성요소

  • Timer driven : 기본적인 모드로 프로세서 정기적으로 실행되도록 예약합니다. 간격은 '실행일정'에 의해 정의됩니다
  • Event driven : 이벤트 기반의 모드로 커넥션으로 흐르는 FlowFile이 들어올 때 발생합니다
  • CRON driven : CRON 기반 스케줄링 모드로 식에따라 주기적으로 실행되도록 예약합니다

 

필드 유효 값
초 (Seconds) 0-59
분 (Minutes) 0-59
시간 (Hours) 0-23
날짜 (Day of Month) 1-31
월 (Month) 1-12 or JAN-DEC
요일 (Day of Week) 1-7 or SUN-SAT
연도 (Year) (optional) empty, 1970-2099

 

예시문

  • 문자열은 0 0 13 * * ? 매일 오후 1시에 프로세서가 실행되도록 예약한다는 것을 나타냅니다
  • 문자열은 0 20 14 ? * MON-FRI 매주 월요일부터 금요일까지 오후 2시 20분에 프로세서가 실행되도록 예약한다는 것을 나타냅니다
  • 이 문자열은 0 15 10 ? * 6L 2011-2017 2011년부터 2017년까지 매월 마지막 금요일 오전 10시 15분에 프로세서가 실행되도록 예약하려고 함을 나타냅니다

 

 

프로세서 Properties Tab

이 프로세서에는 기본적으로 '라우팅 전략'이라는 단일 속성만 있습니다. 기본값은 '속성 이름으로 라우팅'입니다

탭의 오른쪽 상단에는 새 속성을 추가하기 위한 버튼이 있습니다. 이 버튼을 클릭하면 새 속성의 이름과 값을 입력할 수 있습니다. 

 

프로세서 Relationships Tab

관계 탭에는 'terminate/retry' 및 여러 섹션이 포함되어 있으며 성격에 따른 다른 관계들도 있습니다

 

프로세서 Comments Tab

 이 탭은 사용자가 이 구성 요소에 적합한 설명을 포함할 수 있는 영역을 제공합니다

 

매개변수 컨텍스트

매개변수는 매개변수 컨텍스트 내에서 생성됩니다. 매개변수 컨텍스트는 전역적으로 정의되며 NiFi 인스턴스에 액세스 할 수 있습니다.

 

매개변수 추가 창에는 다음과 같은 설정이 있습니다.

  • 이름 - 매개변수를 나타내는 데 사용되는 이름입니다. 영숫자(az, AZ, 0-9), 하이픈( - ), 밑줄( _ ), 마침표( . ) 및 공백만 허용됩니다.
  •  - 매개변수를 참조할 때 사용되는 값입니다
  • 빈 문자열 설정 - 매개변수 값을 빈 문자열로 명시적으로 설정하려면 선택합니다. 기본적으로 선택되어 있지 않습니다
  • 민감한 값 - 매개변수 값이 민감한 것으로 간주되어야 하는 경우 "예"로 설정합니다. 민감한 경우 매개변수 값은 적용된 후 UI에 표시되지 않습니다. 기본 설정은 "아니요"입니다
  • 설명 - 매개변수가 무엇인지, 사용 방법 등을 설명하는 설명입니다. 이 필드는 선택 사항입니다

매개변수 참조

#{Parameter.Name}

 

매개변수를 참조하도록 적합한 속성을 구성하려면 위와 같이 구성하면 됩니다.

DataFlow의 명령 및 제어

NiFi 캔버스에 구성 요소가 추가되면 중지됨 상태가 됩니다. 구성 요소가 트리거 되도록 하려면 구성 요소를 시작해야 합니다. 일단 시작된 구성요소는 언제든지 중지될 수 있습니다. 중지됨 상태에서 구성 요소를 구성, 시작 또는 비활성화할 수 있습니다.

구성 요소 시작

구성요소를 시작하려면 다음 조건이 충족되어야 합니다.

  • 구성 요소의 구성이 유효해야 합니다
  • 구성 요소에 대해 정의된 모든 관계는 다른 구성 요소에 연결되거나 자동 종료되어야 합니다
  • 구성 요소를 중지해야 합니다
  • 구성 요소를 활성화해야 합니다
  • 구성 요소에는 활성 작업이 없어야 합니다

 

이상입니다. Apache nifi 사용 안내서에 대한 글은 마치겠습니다.