Introduction 앞에서 정리한 두 내용에 따라 실제 구성을 진행하면서 Shard cluster를 완성해보겠습니다. configsvr docker-compose.yml version: '3' services: cfgsvr1: build: context: cfg container_name: cfgsvr1 image: mongo #command: mongod --configsvr --replSet cfgrs --port 27017 --dbpath /data/db --bind_ip_all command: mongod --configsvr --replSet cfgrs-1 --port 27017 --dbpath /data/db --bind_ip_all --keyFile /data/mongodb.key --a..

Introduction 이번 글에서는 docker 디렉토리 구성과 docker와 mongodb 명령어들을 정리하겠습니다. 디렉토리 및 파일 구조 docker 및 mongodb 구성에 숙련자가 아니기에 모든 서버의 docker-compose 파일을 각각 작성하였습니다. /data/mongodb-cluster/config-compose /data/mongodb-cluster/config-compose/docker-compose.yml /data/mongodb-cluster/config-compose/cfg/Dockerfile /data/mongodb-cluster/config-compose/cfg/mongod.conf /data/mongodb-cluster/config-compose/cfg/mongodb.k..

Introduction 이번 글에서부터 Mongodb shard 구성을 하는 과정을 다루어보겠습니다. 그 첫단계로 ubuntu 설치부터 진행합니다. 기초설치 sudo apt-get update sudo apt-get upgrade 데스크톱 설치 sudo apt-get install ubuntu-desktop reboot 한글입력기 설치 https://github.com/Riey/kime/releases Releases · Riey/kime Korean IME. Contribute to Riey/kime development by creating an account on GitHub. github.com sudo dpkg -i 파일명.deb 설치 후에 [설정 > 지역 및 언어 > 설치된 언어 관리 > 키보..

RDD는 Spark에서 중요한 개념 중 하나입니다. 스파크의 데이터 구조는 크게 RDD, Dataframe, Dataset으로 구분 할 수 있습니다. RDD (Reliable Distributed Dataset) RDD는 Spark 1.0부터 도입된 가장 기초적인 데이터 구조입니다. RDD는 변경이 불가는한 데이터(객체)의 집합으로 여러 분산 노드에 걸쳐 저장됩니다. 각 RDD는 여러 개의 파티션으로 분리되어 있어서 이는 변경이 불가능하며 변경을 원할 겨웅 새로운 데이터 셋을 생성해야합니다. RDD의 생성 RDD는 외부에서 데이터를 로딩하거나 코드에서 생성된 데이터를 저장함으로써 생성될 수 있습니다. 데이터 로딩은 Lazy 로딩 컨셉을 사용하며, 실제로는 action이 수행될 때 데이터가 로딩됩니다. R..

오픈 소스 클러스터 컴퓨팅 프레임워크인 아파치 스파크에 대해 알아보고자 합니다. 아파치 스파크 : 대규모 데이터 처리 프레임워크 아파치 스파크는 대규모 데이터 처리를 위한 오픈 소스 클러스터 컴퓨팅 프레임워크입니다. 주요 특징 중 하나는 메모리 기반의 빠른 데이터 처리입니다. 이를 통해 대용량 데이터를 효율적으로 처리할 수 있습니다. 또한 다양한 작업을 지원하며, 배치 처리뿐만 아니라 스트리밍 처리, 머신 러닝, 그래프 처리 등 다양한 영역에서 활용됩니다. 등장배경과 혁신 그리고 맵리듀스와 관계 아파치 스파크의 등장배경을 이해하기 위해서는 기존의 데이터 처리 시스템에서의 한계를 살펴볼 필요가 있습니다. 기존의 데이터 처리 시스템에는 MapReduce 같은 배치 기반의 프레임워크가 주로 사용되었습니다. 하..

차근차근 스칼라 언어에 접근을 시도합니다. 그 시작으로 스칼라 빌드도구 sbt입니다. sbt 대화형 빌드도구인 sbt는 버전 1.9.8까지 나와있습니다. sbt는 스칼라와 자바를 위해 만들어졌으며 스칼라와 자바 프로젝트용 빌드 도구입니다. 2019년 기준으로 스칼라 개발자의 93.6%가 이를 선호하는 것으로 알려져 있습니다. 스칼라에 특화된 기능 중 하나는 여러 스칼라 버전에 대해 프로젝트를 크로스 빌드할 수 있는 능력입니다. 기본적으로 build.sbt는 병렬 처리 작업 그래프를 표현하기 위한 스칼라 기반 DSL입니다. build.sbt에서의 오타는 컴파일 에러로 감지됩니다. 더 많은 정보가 필요하다면 아래 sbt 도메인에서 다양한 정보를 찾아볼 수 있습니다. https://www.scala-sbt.o..