아파치 나이파이 설명 소프트웨어 구성요소 나이파이 기능 나이파이 주요 구성요소 프로젝트에서의 구성 1. 아파치 나이파이 설명 아파치 나이파이는 아파치 소프트웨어 재단에서 관리하는 프로젝트로, 소프트웨어 시스템 간의 데이터 흐름을 자동화하기 위해 개발된 소프트웨어입니다. 이 소프트웨어의 설계는 흐름 기반 프로그래밍 모델을 기반으로 하며, 클러스터링, TLS 암호화를 사용한 보안, 확장성, 시각적으로 데이터 흐름을 모니터링하고 수정할 수 있는 포털과 같은 사용성 개선 기능을 포함하고 있습니다. 아파치 나이파이는 사용하기 쉽고 강력하며 신뢰할 수 있는 데이터 처리 및 배포 시스템으로 소개되고 있으며, 주요 역할은 다음과 같습니다. 소스 데이터베이스에서 관련 데이터 추출 분석에 더 적합한 형식으로 데이터 변환 ..

Tech김백엔드, Tech막내녀석 공동작성 및 수정본1. Python 설치Python을 설치하는 방법은 3가지가 있다.Python 공식 홈페이지에서 설치Anaconda 설치Miniconda 설치1번 공식 홈피 vs. 2번 Anaconda1번 공식 홈페이지 설치 방법을 선택하면, 추후 외부 라이브러리를 설치할 때 pip tool로만 python 라이브러리만 설치할 수 있다.2번을 선택하면, Ananconda에 python 설치가 포함되어있기 때문에 pip tool과 conda tool을 혼용해서 사용할 수 있다.conda는 pip보다 패키지 의존성(dependency) 문제를 더 잘 관리해주기 때문에 요즘 1번 방법보다 더 많이 선호된다.예를들어 어떤 패키지를 upgrade하면 해당..

Node Group 생성 Cluster를 생성했으니 이제 Node Group을 생성한다. AWS console에서 > EKS 메뉴 > 생성한 클러스터(VENUS-X2BEE) > Compute(컴퓨팅) tab에서 Add node group을 클릭 1. Configure node group Name: 노드 그룹 이름을 지어주고 Node IAM role: 이전 글에서 생성한 Node Group의 IAM role을 선택해준다. 나중에 pod를 원하는 node group별로 따로 배포하고 싶을 때 중요한 labelling이다. key, value를 다음과 같이 설정해준다. Next 클릭 2. Set compute and scaling configuration 위와 같이 모두 디폴트 값으로 해주고 Instance ..

EKS (Elastic Kubernetes Service)메뉴에서 > Add cluster > Create 클릭 Step 1. Configure cluster Name에 cluster 이름을 적어주고 Kubernetes version은 최신 버전으로 선택 Cluster service role에는 이전 글에서 생성했던 cluster role을 선택해준다. Step 2. Specify networking VPC를 선택하고 Subnet을 이전 글에서 구상했던 구성도대로 dropdown 메뉴에서 이전 글에서 생성했던 SBN-X2CO-APP과 SBN-X2CO-APP02를 선택한다. Cluster endpoint access는 Public으로 선택한다. Step 3. Configure logging Kubernet..

EKS cluster의 IAM role과 node group의 IAM role이 이미 설정되어있다면 이 글의 내용도 건너뛰어도 된다. 1. Cluster 의 Role 생성 우리는 위 그림과 같은 구성을 만들려고 한다. 그러기 위해서는 EKS Cluster와 node group의 IAM role을 먼저 준비해놔야한다. 우선은 EKS Cluster의 IAM role(역할)부터 만들자. AWS console(브라우저)에서 IAM 메뉴 > Role(역할) > Create Role (역할 만들기)을 클릭 엔티티 유형(Trusted entity type)에서 : ‘사용자 지정 신뢰 정책’(Custom Trust policy)으로 선택 다음 복사 붙이기 { "Version": "2012-10-17", "Stateme..

Intro AWS EKS를 생성하기 위해서는 eksctl로 CLI 환경에서 단 한 줄의 코드로 Kubernetes cluster 생성이 가능하다. 하지만 이미 cluster가 생성되어있고 추가로 생성하는 경우에는 설정을 더 해줘야해서 어차피 CLI command가 더 복잡해진다. 결론적으로 EKS 생성을 위한 VPC와 subnet의 준비는 AWS console (브라우저)에서 생성하는 것이 더 직관적이기 때문에, 여기서는 AWS console을 이용하여 생성해본다. 구성도 (이미 설정되어있는 subnet을 사용할 경우 이 글의 과정을 생략해도 된다.) 위 그림은 우리가 생성할 구성도이다. 각 Region마다 AZ(Availability Zone)가 3개에서 6개까지도 있는데, 서울 Region(ap-no..