1. 개요 vast.ai 에서 인스턴스를 사용하고 정지를 해놓은 상태에서 다른 사용자가 해당 GPU를 사용하게되면 부팅이 불가능하게 됩니다. 이를 대비하여 새로운 인스턴스를 생성하고 이전 저장소에서 새로운 인스턴스로 파일을 전송하는 방법을 공유합니다. 2. 상태 FROM Instance -> TO 로 옮기려고 합니다. 현재 FROM 의 /home/userdir_01 폴더에 필요한 파일이 모두 설치되어 있습니다. 이를 TO 의 /home/userdir_01 로 파일을 모두 이동시키려고 합니다. 3. Useradd - TO 에 접속하여 사용자를 만듭니다. (비밀번호 설정 요청이 나옵니다.) $ sudo adduser userdir_01 - 명령어를 사용하면 userdir_01 이라는 사용자가 생성되며 $ s..

자연어 처리 모델의 성능을 향상시키기 위해서 사용되는 두 가지 접근 방식입니다. 각각의 방식은 모델이 데이터를 처리하고 학습하는 방법에서 차이를 보입니다. SFT(Supervised Fine-Tuning) 지도 학습 기반의 미세 조정 방법입니다. 레이블이 지정된 데이터셋을 사용하여 사전 훈련된 모델을 특정 작업이나 도메인에 맞게 추가 학습시킵니다. 대화형식의 데이터를 사용하여, 대화에 대한 이해와 생성 능력을 개선하기 위한 목적으로 사용될 수 있습니다. 예시 데이터 : https://huggingface.co/datasets/davidkim205/kollm-converations

# 영어 리더보드 # 평가 도구 다운로드 git clone https://github.com/EleutherAI/lm-evaluation-harness # 다운로드된 폴더로 이동 cd lm-evaluation-harness # 패키지 설치 pip install -r requirements.txt pip install evaluate lm_eval \ --model hf \ --model_args pretrained={Your Model Huggingface ID} \ --tasks hellaswag,copa,boolq,mmlu \ --device cuda:0 \ --batch_size 1 \ --num_fewshot {0~50} # 한국어 리더보드 git clone https://github.com/Be..

PET-SQL: A Prompt-enhanced Two-stage Text-to-SQL 13 Mar 2024 https://arxiv.org/pdf/2403.09732v1.pdf reference-enhanced representation 이라는 새로운 프롬프트 표현을 소개한다. 이건 스키마 정보와 테이블에서 무작위로 샘플링된 셀 값들을 포함하여 LLM이 SQL 쿼리를 생성하는데 도움을 주는 것이다. 위 논문은 특정 모델을 훈련시키지 않고도 현재 LLMs의 성능을 촉진하는 Prompt-Enhanced Two-stage text-to-SQL 프레임워크를 제안한다. 💡 방법론 질문-SQL 쌍(사용자가 제시한 질문에 대해 SQL 쿼리가 어떻게 생성되는지를 보여주는 데이터)를 검색하여 LLM이 초기 SQL(Pr..

Topic. Fine-tuning 후 기존 base 모델과 생성된 adapter_model 을 merge합니다. 1. huggingface login $ pip install huggingface_hub $ huggingface-cli login 1.1 허깅페이스에서 발급받은 토큰 입력 2. Base Model 가져오기 from transformers import AutoModelForCausalLM, AutoTokenizer model_pretrained_name = {base model id} path_to_lora_adapters = {adapter model path} #모델 불러오기 model = AutoModelForCausalLM.from_pretrained( model_pretrained_..

Topic. 파이썬 패키지 불러오기 파이썬 패키지를 찾는 경로는 sys.path 안에서 찾습니다. [ In 1 ] import sys print(sys.path) [ Out 1 ] ["/root/python_project","/root/home","/root/anaconda3"] sys.path 는 문자열로 구성된 리스트입니다. 내가 찾고자 하는 파이썬 파일의 경로가 sys.path list에 들어있지 않다면? import sys sys.path.append("/root/my_folder/python") import my_python_file 위와같이 sys.path 에 append 후 불러오면 됩니다.

Topic. adapter_model.bin 파일이 1kb 로 깨져서 생성되는 문제를 해결합니다. 열심히 하이퍼파라미터를 조정하며 인내의 시간을 기다려 fine-tuning이 완료되었을 때 생성된 adapter model이 1kb (443byte) 인 누가봐도 이상한 현상 가중치가 사라졌다... 열심히 디버그를 돌리다가 save_checkpoint 나 save_model 시 아래 구문이 실행되며 가중치를 모두 초기화 하여 저장하는 현상이 있다는 것을 알았습니다. old_state_dict = model.state_dict model.state_dict = ( lambda self, *_, **__: get_peft_model_state_dict(self, old_state_dict()) ).__get__..

이번 글에서 와탭(WATAP) 모니터링 서비스로 애플리케이션 모니터링하면서 SQL의 변수를 확인하는 과정을 안내하고자 합니다. 대시보드에서 히트맵에서 영역을 선택합니다. 영역을 선택하게 되면, 아래와 같이 트레이스 분석 팝업창이 뜨게 됩니다. 확인할 내용을 선택하게 되면 아래와 같이 우측에 영역이 표출됩니다. 위 이미지에서 쿼리 부분을 더블클릭하게 되면 아래와 같이 SQL 레이어팝업이 뜹니다. 위 이미지는 비밀번호를 입력 후 치환 변수 및 바인드 변수가 on 된 상태입니다. 비밀번호는 관리자에게 공유받으시면 됩니다. 추가로 [애플리케이션 모니터링 > 대시보드 > 트랜잭션 맵] 메뉴에서도 [트레이스 분석 팝업]을 통해서 동일하게 확인 가능합니다. 비슷한 방법으로 [트레이스 분석 팝업]에서 [테이블 뷰] 탭..

개요 Git Branch 전략을 세움에 있어 고려해야될 사항이 몇 가지 있다. 소통 (communication) 비용 여러 사람이 협업을 편하기 하기 위한 git인데 push 할 때마다 메신저로 '지금 머지하겠습니다' 또는 '배포해도 될까요'를 매번 물어보는 것 또한 경제학에서는 비용으로 계산된다. 병렬 (parallel) 개발 여러 개발자들이 동시에 여러가지 feature를 개발할 수 있어야 한다. short lifetime of branches 브랜치는 필요에 따라 만들고 빨리 merge후 삭제되어야한다. 작년에 어떤 SI에서는 브랜치가 300개가 넘도록 방치되는 것도 본 적이 있다. 모든 개발자가 main의 최신 버전을 가지고 있다고 가정하면 main과 merge가 자주 되어야지 추후에 복잡한 me..

SCP scp -i key.pem ec2-user@ec2-ip-address:/path/to/remote/file /local/path AWS EC2에 ssh 접속은 항상 하지만 EC2 안에 있는 파일은 어떻게 내 local에 가져올까? 많은 파일이 들어있는 폴더라면 요즘 Linux에 git이 기본적으로 설치가 되어있기 때문에 github에 올리고 내 컴퓨터에서 git clone 해오는 방법도 있다. 그러나 간단한 .yaml 파일 하나를 다운 받아올 때는 이 작업도 번거롭다. Windows에는 기본적으로 설치 되어있지 않지만 MacOS는 scp 가 기본적으로 설치가 되어있다. (그러니깐 개발자는 맥북이닷) 그럴 경우는 없겠지만 혹시나 설치가 안 되어있으면 `brew install openssh`로 설치하..

이번 글에서는 가상화 머신에 마운트한 디스크 이미지에 쿠버네티스를 이용하여 퍼시스턴트 볼륨과 퍼시스턴트 볼륨 클래임 설정을하고 컨테이너에 연결해 컨테이너 내에서 생긴 데이터를 보존하는 설정을 진행해보겠습니다. 여러가지가 많이 보이지만 마지막에 /mnt만 확인하면 됩니다. 아래는 pv 폴더에서 미리 작성해둔 파일들을 적용진행하는 내용들입니다. kubectl apply -f pv.yml 위 명령어를 실행하여 pv 생성하면 persistentvolume/data1 created를 확인 할 수 있습니다. kubectl get pv 생성 된 pv를 다시한번 확인합니다. kubectl apply -f pvc.yml 위 명령어를 실행하여 이번에는 pvc를 생성합니다. 마찬가지로 생성 메세지를 확인 할 수 있습니다. ..

이번 글에서는 QEMU/KVM에서 구성한 Rocky Linux에 디스크 이미지를 적용하는 과정을 정리해 보겠습니다. 가상화에 디스크 이미지 적용하기 위처럼 아직 등록한 디스크 이미지가 없는 상태를 확인합니다. 아래의 명령어를 작성하여 파일을 생성합니다. 처음 했을때 여기서 100G가 용량 설정이라고는 하는데... 실제 파일사이즈가 100G로 설정되어 나오지 않았습니다. 실제 100기가로 나타나지 않으면 무언가 잘못되고 있는겁니다. 이유는 보통 이미지 생성이 틀렸을겁니다. (경험담) sudo qemu-img create -f qcow2 /data/qemu-kvm/img/rocky9-k8s-disk.qcow2 100G 그래서 아래와 같이 resize를 실행시켜 줍니다. sudo qemu-img resize ..

Topic. GPU 사용률이 올라가지 않는 현상을 해결합니다. 1. 개요 LLM Model Fine-tuning 중 전용 GPU 메모리 사용량만 늘어나 3D 영역은 0%로 GPU 사용률이 0% 인 현상이 발생! 2. torch 라이브러리로 사용가능한 CUDA 확인 아래 명령어로 확인해봐도 torch는 외장그래픽카드로 잘 잡고있다. print("start time : ", datetime.now()) print(torch.cuda.is_available()) print(torch.cuda.device_count()) print(torch.cuda.get_device_name(torch.cuda.current_device())) 3. 원인 바로 아래 빨간부분인 내장그래픽카드가 문제였다! 4. 해결 내장그래픽..

Topic. WSL 환경에서 CUDA 사용 방법을 알아봅니다. WSL 설치는 아래 문서를 참조하세요. 참고) 이 문서에서는 Ubuntu22.04 버전을 기준으로 설명합니다. https://x2bee.tistory.com/189 [실습] windows10 이상에서 WSL 환경 Topic. 윈도우즈 10 이후 환경에서 리눅스환경이 필요한 상황을 위하여 wsl 환경 설정에 대해 설명합니다. 1. 개요 WSL이란 Windows Subsystem for Linux 의 약어로 리눅스용 윈도우 하위 시스템을 말합니다. x2bee.tistory.com 1. 현재 시스템 CUDA Version 파악 CUDA 버전은 Power Shell 에서 nvidia-smi 멍령어를 치면 우측 상단에서 적합한 버전을 알려줍니다. 2...

Rocky? 리눅스 왜 또 바꾸는데? 당하면 찾아보는 청개구리 본능으로 검색을 해보았습니다. 일단 주저리주저리 하자면 가상화 환경 그것도 kvm 으로 Rocky Linux를 설치해? 인상부터 썻지만 ... 생각을 바꾸어 버렸습니다. 간지가 나버렸다고... 어쨌든 대충 알아보고 설치까지 해보려합니다. Rocky Linux 록키 리눅스는 레드햇 엔터프라이즈 리눅스(RHEL) 운영 체제 소스코드를 사용한 다운스트림의 완전한 이진 호환 릴리스를 목표로 개발된 리눅스 배포판. OS 계열 당연히 리눅스/유닉스 계열 소스는 오픈소스 최초 버전 출시일은 2021년 6월 21일 최신버전 9 업데이트 방식 DNF 패키지 관리자 RPM 커널 모놀리식 유저랜드 GNU 기본 UI 그놈 셸, Bash !!! 공식 웹사이트 roc..

Service Mesh란 MSA에서 서비스 간 통신을 제어하는 application에 내장된 적용 인프라 계층(infrastructure layer). X2BEE처럼 MSA (MicroService Architecture) 구조를 적용하기 위한 클러스터의 내부 통신이, 위와 같은 Mesh 네트워크 구조라는 데 출발해 Service Mesh라는 이름이 지어졌다. 추상화를 통해 복잡한 내부 네트워크를 제어하고, 추적하고 탄력성도 확보한다. sidecar라고 불리는 proxy를 이용하여 abstracts that logic into a parallel layer of infrastructure. Service Mesh는 Layer 7 네트워크이고 서비스간 secure TLS (mTLS)를 관리해주는데 좋고, ..

Introduction 앞에서 정리한 두 내용에 따라 실제 구성을 진행하면서 Shard cluster를 완성해보겠습니다. configsvr docker-compose.yml version: '3' services: cfgsvr1: build: context: cfg container_name: cfgsvr1 image: mongo #command: mongod --configsvr --replSet cfgrs --port 27017 --dbpath /data/db --bind_ip_all command: mongod --configsvr --replSet cfgrs-1 --port 27017 --dbpath /data/db --bind_ip_all --keyFile /data/mongodb.key --a..

Introduction 이번 글에서는 docker 디렉토리 구성과 docker와 mongodb 명령어들을 정리하겠습니다. 디렉토리 및 파일 구조 docker 및 mongodb 구성에 숙련자가 아니기에 모든 서버의 docker-compose 파일을 각각 작성하였습니다. /data/mongodb-cluster/config-compose /data/mongodb-cluster/config-compose/docker-compose.yml /data/mongodb-cluster/config-compose/cfg/Dockerfile /data/mongodb-cluster/config-compose/cfg/mongod.conf /data/mongodb-cluster/config-compose/cfg/mongodb.k..

Introduction 이번 글에서부터 Mongodb shard 구성을 하는 과정을 다루어보겠습니다. 그 첫단계로 ubuntu 설치부터 진행합니다. 기초설치 sudo apt-get update sudo apt-get upgrade 데스크톱 설치 sudo apt-get install ubuntu-desktop reboot 한글입력기 설치 https://github.com/Riey/kime/releases Releases · Riey/kime Korean IME. Contribute to Riey/kime development by creating an account on GitHub. github.com sudo dpkg -i 파일명.deb 설치 후에 [설정 > 지역 및 언어 > 설치된 언어 관리 > 키보..

numpy 선언 In [6]: import numpy as np In [7]: x = np.array([1.0, 2.0, 3.0]) x Out[7]: array([1., 2., 3.]) 산술연산 두개의 배열, 각 원소별 계산 In [9]: x = np.array([1.0, 2.0, 3.0]) y = np.array([2.0, 4.0, 6.0]) Out[9]: array([0.5, 0.5, 0.5]) In [10]: x+y Out[10]: array([3., 6., 9.]) In [11]: x-y Out[11]: array([-1., -2., -3.]) In [12]: x*y Out[12]: array([ 2., 8., 18.]) In [13]: x/y Out[13]: array([0.5, 0.5, 0.5..