Topic. 파이썬 패키지 불러오기 파이썬 패키지를 찾는 경로는 sys.path 안에서 찾습니다. [ In 1 ] import sys print(sys.path) [ Out 1 ] ["/root/python_project","/root/home","/root/anaconda3"] sys.path 는 문자열로 구성된 리스트입니다. 내가 찾고자 하는 파이썬 파일의 경로가 sys.path list에 들어있지 않다면? import sys sys.path.append("/root/my_folder/python") import my_python_file 위와같이 sys.path 에 append 후 불러오면 됩니다.

Topic. adapter_model.bin 파일이 1kb 로 깨져서 생성되는 문제를 해결합니다. 열심히 하이퍼파라미터를 조정하며 인내의 시간을 기다려 fine-tuning이 완료되었을 때 생성된 adapter model이 1kb (443byte) 인 누가봐도 이상한 현상 가중치가 사라졌다... 열심히 디버그를 돌리다가 save_checkpoint 나 save_model 시 아래 구문이 실행되며 가중치를 모두 초기화 하여 저장하는 현상이 있다는 것을 알았습니다. old_state_dict = model.state_dict model.state_dict = ( lambda self, *_, **__: get_peft_model_state_dict(self, old_state_dict()) ).__get__..

Topic. LoRA(Low-Rank Adaptation) 에 대해 알아봅니다. 1. LoRA 란? Low-Rank Adaptation 약어로 Huggingface 에서 개발한 Parameter-Efficient Fine-Tuning (PEFT) 방식 중 하나입니다. 파이썬의 peft 라이브러리를 사용하여 쉽게 LoRA 를 사용할 수 있습니다. 2. 개요 기존 full fine-tuning은 pre-trained Model 전체 파라미터에 가중치와 역전파(back propagation)의 기울기를 더하는 방식입니다. LoRA 는 기존의 LLM을 직접 fine-tuning 하는 대신, 새로운 레이어(LoRA adapter 의 A Layer, B Layer)를 삽입해서 훈련하는 방식입니다. LoRA는 훈련 ..

Topic. LLaMA 2 모델 NousResearch/Llama-2-13b-chat-hf 을 LoRA 방식으로 미세조정해봅시다. 1. 실습환경 구성 아래 글을 참조하여 실습환경을 구성합니다. [실습] A.I. Pre-trained Model Fine-tuning 을 위한 환경설정(Linux Ubuntu) 2. Pretrained Model, Datasets Information model_pretrained_name NousResearch/Llama-2-13b-chat-hf https://huggingface.co/NousResearch/Llama-2-13b-chat-hf data_path b-mc2/sql-create-context https://huggingface.co/datasets/b-mc2/..