Hello Scala를 찍어보았지만 아는 게 너무 없어서 최신 릴리즈 정보부터 학습해 보겠습니다. New in Scala 3 가장 중요한 변화들에 대한 간단한 개요를 제공해 드리겠습니다. 더 자세한 정보를 원하신다면 공식 홈페이지의 자료를 확인해 주세요! 스칼라 3 북 : 스칼라 언어를 처음 접하는 개발자 용 구문 요약 (Syntax Summary) : 새 구문들에 대한 공식적인 설명 제공 언어 참조 (Language Reference) : Scala2에서 Scala3으로의 변경 사항에 대한 자세한 설명 마이그레이션 가이드 : Scala2에서 Scala3로 이동하는데 필요한 정보 스칼라 3 Contributing 가이드 : 문제 해결 가이드 및 컴파일러 https://docs.scala-lang.org/..

vscode로 플러그인 설치하고, Hello Scala 출력하기 vscode extention 설치 플러그인명 : Scala Syntax (offical) 설명 : 공식적으로 지원되는 스칼라 문법 강조 확장입니다. 기본적인 문법 강조와 코드 가독성을 높여줍니다 플러그인명 : Metals 설명 : Scala 및 sbt 프로젝트용 풍부한 기능을 제공하는 확장입니다. 코드 내비게이션, 리팩터링, 자동완성, 코드 액션 등 다양한 기능을 제공합니다. Metals = Meta (from Scalameta) + LS (from Language Server) 플러그인명 : Scala Language Server 설명 : 스칼라 언어 서버를 활용한 확장으로, 코드 분석, 자동완성, 코드 작성 지원 등 다양한 기능을 제공..

빅데이터 분석을 위해 배우기 위해 Scala와 spark를 배우는 여정을 담아보려 합니다. 스칼라는 2004년 마틴 오더스키가 자바의 복잡함을 극복하기 위해 만든 언어입니다. Scala라는 명칭은 이탈리아어로 계단을 뜻하기도 합니다만 Scalable Language에서 유래되었습니다. 한국에서는 '스칼라(skah-lah)라고 읽지만 영어권에서는 '스케일러 (skay-lah)'라고 자주 부른다고 합니다, 스칼라는 간결한 코드로 자바의 대부분 기능을 구현할 수 있습니다. 이러한 스칼라는 범용 프로그램 언어로, 다른 언어로 표현가능한 패턴을 간결하게 표현할 수 있습니다. 객체지향과 함수형 프로그래밍을 결합하고 자바 API를 활용하여 개발자의 생산성을 높여주고 있습니다. 예를 들어 같은 프로그램을 자바로 작성했..

NiFI의 Relationships 설명입니다. 각 프로세서에는 데이터를 전송할 수 있는 정의된 "Relationships" 집합이 있습니다. 프로세서가 FlowFile 처리를 완료하면 해당 FlowFile을 다른 Relationships 중 하나로 전송합니다. 이는 처리 결과에 따라 사용자가 구성할 수 있습니다. 대부분 프로세서들은 성공(success)과 실패(failure) 두 가지로 정의합니다. 프로세서간 일반적인 Relation 말고도 프로세스 그룹간 데이터를 전송하는 입력 포트와 출력포트도 있습니다. 입력 포트(Input Port) : 입력 포트는 데이터를 프로세스 그룹으로 전송하는 메커니즘을 제공합니다. 입력 포트를 캔버스에 끌어다 놓을 때 DFM은 포트에 이름을 지을 것을 요청받습니다. 프로..

동기화 업무를 수행하기 위해 사용한 Processor 위주의 설명입니다. 사용할 Processor 종류는 다음과 같습니다. ExecuteSQL ConvertAvroToJSON SplitJson EvaluateJsonPath PutSQL UpdateAttribute MergeRecord ExecuteSQL 제공된 SQL 선택 쿼리를 실행합니다. 쿼리 결과는 Avro 형식으로 변환됩니다. 가져온 ExecuteSQL의 모습과 이슈 사항의 이미지 최초 생성시 이슈 사항으로 'Database Connections Pooling Servie' 와 'Relationship success/failure' ExecuteSQL Properties 주요 설정사항은 총 2가지입니다. Database Connection Poo..

이 문서는 NiFi를 사용하여 동기화 업무를 수행하기 위한 안내서입니다. 목표 교육내용은 동기화 업무를 수행할 수 있는 수준의 작성 방법안내에 있습니다. 1. 소스 공유 먼저 공유 템플릿 파일을 다운로드합니다. 캔버스에서 우클릭 컨텍스트 메뉴를 통해서 Upload template 진행합니다. 템플릿을 사용하기 위해 상단 헤더바에서 템플릿 아이콘을 찾아 드래그 앤 드롭을 하고 사용할 템플릿을 선택합니다. 추가로 내려받은 템플릿은 우측상단 메뉴의 Templates 에서 관리 할 수있습니다. 3. 구성 동기화 업무는 다음과 같이 구성됩니다. 동기화 업무 그룹 타겟 동기화 그룹 동기화 로그 그룹 다음 장에서는 실제 구성하기 전에 사전 작업으로 Connection Pool 설정하는 방법을 안내하겠습니다.