목차
- Apache NiFi의 활용 사례 소개
- 데모 Flow를 소개
Apache NiFi 활용 사례 소개
나이파이를 실제 활용 사례를 소개합니다.
데이터베이스 간 데이터 이전부터 데이터 레이크 구축 그리고 나이파이가 어떻게 데이터 통합 시나리오에서 활용되는지 살펴보겠습니다.
데이터베이스 간 이전
- DB to DB
데이터베이스 간 이전으로 실제 사례 및 효과를 살펴보겠습니다.
플랫폼 마이그레이션 (아래의 Flow)
- 기존 플랫폼에서 새로운 플랫폼으로의 마이그레이션 및 동기화
서비스 업데이트
- 새로운 서비르소 업데이트할 때 데이터 이전은 중요한 요소
- 기존 데이터베이스에 새로운 스키마를 적용하거나 새로운 데이터베이스에 데이터를 이전 함으로 업그레이드
데이터 중심 어플리케이션 이전
- 예를 들어 CRM(고객 관리 시스템), ERP(자원 관리 시스템) 등에서 데이터 이전 및 동기화
운영 비용 최적화
- 데이터 베이스 서비스 업체 변경 또는 데이터 센터 이전을 통해 비용을 절감
마이그레이션, 이관 및 동기화
nifi 1.22.0 ( Released: 2023-06-11)
Elasticsearch 분석엔진
- DB to Elasticsearch (하단의 예시 플로우)
자연어 처리 및 텍스트 분석
- 나이파이를 통해 텍스트 데이터를 수집하고 Elasticsearch로 전송하여 분석을 수행
로그 수집 및 분석
- 나이파이를 통해 여러 소스에서 로그 데이터를 수집하고 Elasticsearch로 전송하여 중앙 집중식 로그 분석 플랫폼 구축 가능
실시간 대시보드 및 분석
- 나이파이를 사용하여 다양한 소스에서 데이터를 수집하고 전송하여 실시간 대시보드 및 분석 플랫폼을 구축
Elasticsearch 연계
실시간 결제 데이터 처리
- Kafka를 통해 전송되는 결제 데이터를 실시간으로 모니터링하고 이에 대한 시스템 분석 및 구성 (하단의 예시 플로우)
결제 이벤트 스트림 처리
- 나이파이를 사용하여 실시간으로 수집하고, 해당 데이터를 원하는 형식으로 변환하여 전달합니다. 이를 이용하여 결제의 데이터를 실시간 변환 전달하며, 거래 금액 및 거래 시간 등의 정보를 수집
실시간 데이터 분석 시각화
- 결제 데이터를 나이파이를 통해 실시간으로 수집하고 Kafka 또는 Elasticsearch 또는 다른 시스템에 전송하여 실시간 데이터 시각화 플랫폼을 구축
실시간 알림 및 이벤트 처리
- 실시간 처리를 통해 중요한 이벤트 발생 시 해당 이벤트에 대한 실시간 알림을 생성하고 적절한 수신처로 전달합니다. 예를 들어 거래성공, 실패, 환불 등의 이벤트에 대한 실시간 알림을 생성하여 적절한 조치를 작성할 수 있음
실시간 데이터 처리 - 카프카(Kafka) MongoDB 활용
배치 시스템
- 실행 및 스케쥴링을 관리하여 주기에 맞춰 데이터를 처리
시스템 간 통합
- 다양한 시스템 간 데이터를 통합을 위해 나이파이를 이용할 수 있습니다. 여러 시스템에서 발생하는 데이터를 통합하고, 필요한 형식으로 변환하여 다른 시스템으로 전송
파일 처리와 변환
- 배치로 전달되는 다양한 파일을 필요한 형식으로 변환합니다. CSV, JSON, XML 등 다양한 파일을 읽어 들여 데이터를 추출하거나 특정 포맷으로 변환하여 시스템을 통합하는 작업을 수행합니다
'Tech 공유 세미나 - 2차' 카테고리의 다른 글
| 3장. 검색 속도 비교와 형태소 분석 (0) | 2023.11.21 |
|---|---|
| 2장. 필드 타입 및 조회 방법 (0) | 2023.11.21 |
| 1장. Elasticsearch의 특징 및 알고리즘 (0) | 2023.11.20 |
| 3장 플래티어의 구독형 DataLake 구축과 데이터 수집 전략 (0) | 2023.11.20 |
| 1장 Apache NiFi 소개 (0) | 2023.11.20 |
