Topic. Fine-tuning 후 기존 base 모델과 생성된 adapter_model 을 merge합니다. 1. huggingface login $ pip install huggingface_hub $ huggingface-cli login 1.1 허깅페이스에서 발급받은 토큰 입력 2. Base Model 가져오기 from transformers import AutoModelForCausalLM, AutoTokenizer model_pretrained_name = {base model id} path_to_lora_adapters = {adapter model path} #모델 불러오기 model = AutoModelForCausalLM.from_pretrained( model_pretrained_..

Topic. GPU 사용률이 올라가지 않는 현상을 해결합니다. 1. 개요 LLM Model Fine-tuning 중 전용 GPU 메모리 사용량만 늘어나 3D 영역은 0%로 GPU 사용률이 0% 인 현상이 발생! 2. torch 라이브러리로 사용가능한 CUDA 확인 아래 명령어로 확인해봐도 torch는 외장그래픽카드로 잘 잡고있다. print("start time : ", datetime.now()) print(torch.cuda.is_available()) print(torch.cuda.device_count()) print(torch.cuda.get_device_name(torch.cuda.current_device())) 3. 원인 바로 아래 빨간부분인 내장그래픽카드가 문제였다! 4. 해결 내장그래픽..

Topic. Huggingface 에 등록된 LLM 을 Base 모델로 하여 미세조정(Fine-tuning) 하기 위한 환경설정 내용을 공유합니다.* 파이썬 설치는 아래 링크에서https://x2bee.tistory.com/9 Python 설치 및 가상 환경(conda evn)Tech김백엔드, Tech막내녀석 공동작성 및 수정본 1. Python 설치 Python을 설치하는 방법은 3가지가 있다. Python 공식 홈페이지에서 설치 Anaconda 설치 Miniconda 설치 1번 공식 홈피 vs. 2번 Anaconda 1번 공식 홈x2bee.tistory.com1. Hardware InformationOS : Linux Ubuntu 18.04.6 LTS (Windows11 WSL)CPU : AMD Ry..

Topic. Trainer 의 TrainingArguments 주요 파라미터를 설명합니다. * TrainingArguments parameter type / optional / default explain cutoff_len 모델에 들어갈 시퀀스의 최대 길이를 설정합니다. Optimizer AdamW 를 주로 사용 lr_scheduler 훈련중 learning rate를 조절해주는 옵션입니다. constant(고정), linear(선형), cosine(코사인형) per_device_train_batch_size int 선택 사항 8 훈련을 위한 GPU/TPU 코어/CPU당 배치 크기입니다. per_device_eval_batch_size int 선택 사항 8 평가를 위한 GPU/TPU 코어/CPU당 배치..

Topic. LLaMA 2 모델 NousResearch/Llama-2-13b-chat-hf 을 LoRA 방식으로 미세조정해봅시다. 1. 실습환경 구성 아래 글을 참조하여 실습환경을 구성합니다. [실습] A.I. Pre-trained Model Fine-tuning 을 위한 환경설정(Linux Ubuntu) 2. Pretrained Model, Datasets Information model_pretrained_name NousResearch/Llama-2-13b-chat-hf https://huggingface.co/NousResearch/Llama-2-13b-chat-hf data_path b-mc2/sql-create-context https://huggingface.co/datasets/b-mc2/..