이번 장부터는 Apache nifi 사용자 가이드 docs를 번역하여 기술하겠습니다. 전문용어 데이터 흐름 관리자 (DataFlow Manager, DFM) nifi 사용자 중 하나로 데이터 흐름의 구성 요소를 추가, 삭제, 수정할 수 있는 권한이 있는 사람을 의미합니다 플로우 파일 (FlowFile) nifi에서 단인 데이터 조각을 나타냅니다. 플로우 파일은 플로우 파일 속성(attributes)과 플로우 파일 콘텐츠(content)로 구성됩니다. 콘텐츠는 플로우 파일로 표현되는 데이터입니다. 속성은 데이터에 대한 정보나 콘텍스트를 제공하는 특성으로 키-값 쌍으로 이루어져 있습니다 프로세서 (Processor) 데이터를 수신하거나 외부 소스에서 데이터를 추출하고, 데이터를 외부 소스로 게시하거나 트랜스..

Topic. 가우스 함수의 개념, 위상에 대해 알아봅니다. 1. 개요 '가우스 함수' 란 카를 프리드리히 가우스가 수많은 분야에 업적을 남겼기 때문에, 가우스라는 이름이 여러 분야에서 널리 쓰이고 있습니다. 어떤 특정한 함수를 하나만을 가리키지는 않고 그래프의 좌우가 0에 수렴하며 중간이 최고 높이인 모양을 모두 가우스 함수라고 칭합니다. 중간 높이가 최고인점을 착안하여 '최대 정수 함수' 라고도 합니다. 이 함수가 어떻게 나왔는지 알기 위해서는 높은 수준의 수학지식이 필요하므로 우리는 모양과 변화에만 집중해서 관찰해봅시다. 2. 위상 위상이라는 멋있는 단어를 썼지만 그냥 쉽게 모양이라고 합시다. 가우스함수의 모양은 언덕모양처럼 생겼습니다. 3. 그래프 위 함수가 바로 가우스 함수입니다. x 는 지수이..

'23.11/28.에 진행했던 연구소 테크팀 세미나 Session 4 : SW품질확보를 위한 자동화테스트 https://youtu.be/PoR2AzQ0NXE

이번 장에서는 Apache nifi 시작 안내서(2)에 이어서 docs 중 프로세서 속성에 대한 내용을 번역하여 기술하겠습니다. 속성을 다루는 방법 각 FlowFile은 여러 속성과 함께 생성되며, 이러한 속성은 FlowFile의 수명 동안 변경될 수 있습니다. FlowFile의 개념은 매우 강력하며 세 가지 주요 이점을 제공합니다 첫째, 특정 기준을 충족하는 FlowFile을 다른 FlowFile과 다르게 처리할 수 있도록 흐름에서 경로를 결정할 수 있습니다. 이는 RouteOnAttribute와 유사한 프로세서를 사용하여 수행됩니다 둘재, 속성은 데이터 자체에 따라 프로세서를 구성하는 데 사용됩니다. 예를 들어 PutFile 프로세서는 각 FlowFile을 저장할 위치를 파악하기 위해 속성을 사용할 ..

이번 장에서는 Apache nifi 시작 안내서(1)에 이어서 docs 중 프로세서에 대한 내용을 번역하여 기술하겠습니다. 프로세서 각 프로세서에는 데이터를 전송할 수 있는 정의된 "Relationships" 집합이 있습니다. 프로세서가 FlowFile 처리를 완료하면 해당 FlowFile을 다른 Relationships 중 하나로 전송합니다. 이는 처리 결과에 따라 사용자가 구성할 수 있습니다. 예를 들어 많은 프로세서들은 성공(success)과 실패(failure) 두 가지로 정의합니다. 사용자는 데이터를 처리하는 프로세서가 데이터를 성공적으로 처리할 수 있는 경우에는 한 경로를 통해 흐르도록 데이터를 구성하고, 프로세서가 데이터를 처리할 수 없는 경우에는 완전히 다른 방식으로 흐르도록 데이터를 구성..

이번 장에서는 아파치 나이파이에 작성된 docs 중 시작 안내서를 번역 기술하겠습니다. 이 가이드는 누구를 위한 것입니까? 이 가이드는 Nifi를 처음 사용하거나, 경험이 제한되거나, 특정 작업에만 익숙한 사용자를 대상으로 작성되었습니다. 광범위한 정보를 제공하여 보다 체계적인 리소스로 설계 작성 되었으며 참조 가이드로 유용합니다. 이 가이드는 사용자가 필요로 하는 핵심 정보만을 제공하고 nifi를 사용하여 강력하고 유연한 데이터 흐름을 빠르고 간편하게 구축하는 방법을 이해하는데 도움을 주기 위해 작성되었습니다. 이 가이드에 사용된 용어 이 가이드문서를 이해하는데 중요한 몇 가지 용어가 있습니다. FlowFile "사용자 데이터"라고도 할 수 있는 각 조각의 데이터(즉, 사용자가 처리 및 배포를 위해 n..

이번 장에서는 아파치 나이파이에 작성된 docs 중 개발자 안내서를 번역 기술하도록 하겠습니다. 소개 이 개발자 가이드의 목적은 독자가 Apache Nifi 확장 기능을 개발하는 방법을 이해하고 구성 요소를 개발하는 데 필요한 정보를 제공하는 것입니다. 확장 기능을 개발하는 데 사용되는 API에 대한 소개와 설명을 제공합니다. NiFi 구성 요소 Nifi는 여러 확장 지점을 제공하여 개발자가 애플리케이션에 기능을 추가하여 필요에 맞게 사용할 수 있도록 합니다. 다음은 가장 일반적인 확장 지점들에 대한 설명입니다. 프로세서 프로세서 인터페이스는 Nifi가 FlowFiles, 그들의 속성 및 내용에 대한 액세서를 노출하는 메커니즘입니다. 프로세서는 Nifi 데이터 플로우를 구성하는 데 사용 되는 기본 빌딩 ..

'23. 11/28에 진행했던 연구소 세미나 중 세션3, Apache Nifi 소개 / 인터페이스 효율화 https://youtu.be/UcwWjJnN8r8

개요 현재 제목에 '01-'로 시작하는 글들의 목적은 npx create-next-app으로 만드는 템플릿을 직접 구성하는 목적이다. 만약 npx create-next-app@latest my-app으로 프로젝트를 만든다면 자동으로 물어보는 질문은 다음 6가지이다. ✔ Would you like to use TypeScript? … No / Yes ✔ Would you like to use ESLint? … No / Yes ✔ Would you like to use Tailwind CSS? … No / Yes ✔ Would you like to use src/ directory? … No / Yes ✔ Would you like to use App Router? (recommended) … No / Ye..

'23. 11/28에 진행했던 연구소 세미나 중 세션2, Next.js와 Tailwind CSS 소개에 대한 내용입니다. https://youtu.be/Xiw1mrLUpPA

'23. 11/28에 진행했던 연구소 세미나 중 세션1 검색에 대한 내용입니다. https://youtu.be/yUGxyay99Jw

서론 ESLint는 기본적으로 code linter이다. 코드 품질과 관련. Prettier는 기본적으로 code formatter이다. 코드를 이쁘게 정렬해준다. 문제는 linter의 기능에 formatter의 기능도 들어가기 때문에 충돌이 생긴다. 이 충돌을 막아주는 것은 eslint-config-prettier 라는 패키지다. 지난 번 Airbnb 설정을 따르려고 했지만 수많은 문제점이 생겼다. 너무 엄격하기 때문에 learning curve가 높고, 그로 인해 오히려 개발에 지장을 준다. 또한 예외 rules가 늘어나다보니 linter의 본래 역할을 못 하는 경우도 발생했다. 이번에는 간단하게 Lint의 기본 기능에도 충실하고 Prettier와도 충돌나지 않게 처음부터 다시 설정해보자. Tailw..

Nest 애플리케이션과 모든 애플리케이션 요소에는 Nest에서 관리하는 수명 주기가 있다. Nest는 주요 수명 주기 이벤트에 대한 가시성과 이벤트 발생 시 조치(모듈, 공급자 또는 컨트롤러에 등록된 코드 실행) 기능을 제공하는 수명 주기 훅을 제공한다. 수명 주기 순서 다음 다이어그램은 애플리케이션이 부트스트랩되는 시점부터 노드 프로세스가 종료될 때까지 주요 애플리케이션 수명 주기 이벤트의 순서를 보여준다. 전체 라이프사이클을 초기화 , 실행 , 종료의 세 단계로 나눌 수 있다 . 이 수명 주기를 사용하면 모듈과 서비스의 적절한 초기화를 계획하고, 활성 연결을 관리하고, 종료 신호를 받으면 애플리케이션을 정상적으로 종료할 수 있다. 수명 주기 이벤트 수명 주기 이벤트는 애플리케이션 부트스트래핑 및 종료..

Concept 1. Auto-imports Nuxt는 컴포넌트, 컴포저블, 헬퍼함수 및 Vue API 를 자동으로 임포트 한다. 간단한 예를 들면 아래와 같다. app.vue

사실 쿠버네티스 등장배경 보다 먼저 OSI 7 계층을 다루고 싶었는데... 마음 가는 데로 등장배경 먼저 다루어버렸습니다. 그래서 OSI 7 계층 개념점검만 하고 가겠습니다. 계층구조 L 7 Application(응용 계층) L 6 Presentation(표현 계층) L 5 Session(세션 계층) L 4 Transport(전송 계층) L 3 Network(네트워크 계층) L 2 Data Link(데이터링크 계층) L1 Physical(물리 계층) L1에서 => L7으로 L7에서 => L1으로 추상화 수준이 높아진다 추상화 수준이 낮아진다 소프트웨어를 더 많이 다룬다 하드웨어를 더 많이 다룬다 추상화 수준에서 L7은 가장 높은 수준으로 사용자와 직접 상호작용하고, 응용프로그램에 가깝습니다 그러나 L1은..

쿠버네티스 학습이전에 등장배경과 기초적인 지식들을 정리하고 학습을 시작하고자 이 글을 작성해 봅니다. 쿠버네티스가 등장하기 이전, 가상화 환경에서의 운영과 배포 기술들은 지속적으로 발전해 왔습니다. 이전에는 가상 머신과 관련된 기술들이 많았는데, 그중 하나는 가상 머신 머니터(VMware)입니다. 이후에는 컨테이너 기술들이 등장했습니다. 컨테이너는 응용 프로그램을 패키징하고 실행하는 데 사용되며, 가상 머신보다 가볍고 빠른 실행이 특징입니다. 컨테이너 기술은 Docker가 등장함으로써 널리 사용되기 시작했습니다. Docker는 응용 프로그램을 컨테이너로 패키징하고 배포하기 위한 도구로서, 가상화 환경에서의 개발과 배포를 효율적으로 만들어 주었습니다. 이와 같이 발전해 온 환경은 최근 IT 업계에서 쿠버네..

Nuxt는 Vue.js 기반의 타입 세이프 하고 성능이 뛰어나며 프로덕션 수준의 풀 스택 웹 애플리케이션과 웹 사이트를 생성할 수 있는 직관적이고 확장 가능한 방법을 갖춘 무료 오픈 소스 프레임워크이다. 개발 시 핫 모듈 교체(HMR) 를 할 수 있으며 기본적으로 서버 측 렌더링을 통해 고성능 애플리케이션을 지원하여, 바로 .vue 소스 파일을 시작할 수 있도록 환경을 제공한다. Nuxt는 공급업체에 종속되지 않으므로(Vendor lock in) 애플리케이션을 어디에나 배포할 수 있다. 자동화와 규칙 Nuxt는 디렉토리 구조를 사용하여 반복적인 작업을 자동화하고 개발자가 기능을 개발하는 데 집중할 수 있도록 한다. 특별한 변경이 필요할 때도 기본 동작을 사용자 정의하고 재정의할 수 있다. 파일 기반 라우..

REHL 리눅스의 대표적인 호환 리눅스인 CentOS 가 2020년 12월 이후 RHEL 정식버전 이전의 Stream 버전으로 바뀌었다. 이를 Upstream 이라고 한다. Fedora -> RHEL -> CentOS 의 형태가 Fedora -> CentOS -> RHEL 로 흐름이 바뀌었다. 엔터프라이즈 Linux 의 가장 중요한 점은 안정성(Stablity) 와 보안(Security) 이라고 할 수 있다. 그래서 기존 CentOS 지지자들은 'CentOS is Dead' 라며 반발이 심했나보다. 이에 대한 대안으로 가장 먼저 등장한 리눅스가 Rocky Linux 이다. AWS의 Amazon 리눅스도 RHEL 계열이기에 k8s 설치와 관련해서 간단하게 정리해본다. VM 준비 Oracle VirtualB..

Task Scheduling이란 주기적으로 반복적인 작업을 처리하는 것을 말합니다. 스프링 프로젝트에서도 scheduler를 이용하여 이러한 반복적인 작업을 처리하는데 테크팀에서 관리하는 스프링 프로젝트들의 경우 반복적으로 처리해야될 비즈니스 로직 및 데이터의 규모가 방대하기 때문에 스프링 배치를 이용하여 프로젝트를 구성하였고, 여기에 Cronicle을 이용하여 Scheduling을 관리하고 있습니다. NestJS 프로젝트의 경우 반복적으로 처리해야될 작업이 많지 않았고(현재는 엘라스틱 서치에 인덱싱 하는 작업 1개만 존재), 그 데이터의 규모 또한 크지 않다고 판단하여서 자체적으로 지원하는 schedule 모듈을 사용하기로 결정 하였습니다. "dependencies": { "@nestjs/schedul..

보통 백엔드 서버를 개발하면 API 서버 또는 웹서버가 정상적인 상태인지 확인할 수 있는 상태 확인 API를 개발하게 됩니다. 그리고 해당 상태 확인 API를 지속적으로 확인하는 시스템을 설정하여 서버들의 상태를 확인하게 됩니다. 오래전에는 단순 상태확인용 API를 단순하게 개발했지만, 현재 스프링의 경우 actuator를 이용하여 헬스 체크 엔드포인트를 활성화하여 많이 제공합니다. 현재 테크팀에서 관리하는 모든 스프링 프로젝트들의 경우에도 actuator를 이용하여 서버 상태를 확인하고 있습니다. NestJS 프로젝트 또한 동일한 상태 확인 엔드포인트를 제공해주어야 되었기 때문에 기본적으로 프레임워크에서 제공해주는 Terminus를 활용하기로 결정 하였습니다. "dependencies": { "@nes..