자연어 처리 모델의 성능을 향상시키기 위해서 사용되는 두 가지 접근 방식입니다. 각각의 방식은 모델이 데이터를 처리하고 학습하는 방법에서 차이를 보입니다. SFT(Supervised Fine-Tuning) 지도 학습 기반의 미세 조정 방법입니다. 레이블이 지정된 데이터셋을 사용하여 사전 훈련된 모델을 특정 작업이나 도메인에 맞게 추가 학습시킵니다. 대화형식의 데이터를 사용하여, 대화에 대한 이해와 생성 능력을 개선하기 위한 목적으로 사용될 수 있습니다. 예시 데이터 : https://huggingface.co/datasets/davidkim205/kollm-converations

# 영어 리더보드 # 평가 도구 다운로드 git clone https://github.com/EleutherAI/lm-evaluation-harness # 다운로드된 폴더로 이동 cd lm-evaluation-harness # 패키지 설치 pip install -r requirements.txt pip install evaluate lm_eval \ --model hf \ --model_args pretrained={Your Model Huggingface ID} \ --tasks hellaswag,copa,boolq,mmlu \ --device cuda:0 \ --batch_size 1 \ --num_fewshot {0~50} # 한국어 리더보드 git clone https://github.com/Be..

PET-SQL: A Prompt-enhanced Two-stage Text-to-SQL 13 Mar 2024 https://arxiv.org/pdf/2403.09732v1.pdf reference-enhanced representation 이라는 새로운 프롬프트 표현을 소개한다. 이건 스키마 정보와 테이블에서 무작위로 샘플링된 셀 값들을 포함하여 LLM이 SQL 쿼리를 생성하는데 도움을 주는 것이다. 위 논문은 특정 모델을 훈련시키지 않고도 현재 LLMs의 성능을 촉진하는 Prompt-Enhanced Two-stage text-to-SQL 프레임워크를 제안한다. 💡 방법론 질문-SQL 쌍(사용자가 제시한 질문에 대해 SQL 쿼리가 어떻게 생성되는지를 보여주는 데이터)를 검색하여 LLM이 초기 SQL(Pr..

Topic. Fine-tuning 후 기존 base 모델과 생성된 adapter_model 을 merge합니다. 1. huggingface login $ pip install huggingface_hub $ huggingface-cli login 1.1 허깅페이스에서 발급받은 토큰 입력 2. Base Model 가져오기 from transformers import AutoModelForCausalLM, AutoTokenizer model_pretrained_name = {base model id} path_to_lora_adapters = {adapter model path} #모델 불러오기 model = AutoModelForCausalLM.from_pretrained( model_pretrained_..

Topic. 파이썬 패키지 불러오기 파이썬 패키지를 찾는 경로는 sys.path 안에서 찾습니다. [ In 1 ] import sys print(sys.path) [ Out 1 ] ["/root/python_project","/root/home","/root/anaconda3"] sys.path 는 문자열로 구성된 리스트입니다. 내가 찾고자 하는 파이썬 파일의 경로가 sys.path list에 들어있지 않다면? import sys sys.path.append("/root/my_folder/python") import my_python_file 위와같이 sys.path 에 append 후 불러오면 됩니다.

Topic. adapter_model.bin 파일이 1kb 로 깨져서 생성되는 문제를 해결합니다. 열심히 하이퍼파라미터를 조정하며 인내의 시간을 기다려 fine-tuning이 완료되었을 때 생성된 adapter model이 1kb (443byte) 인 누가봐도 이상한 현상 가중치가 사라졌다... 열심히 디버그를 돌리다가 save_checkpoint 나 save_model 시 아래 구문이 실행되며 가중치를 모두 초기화 하여 저장하는 현상이 있다는 것을 알았습니다. old_state_dict = model.state_dict model.state_dict = ( lambda self, *_, **__: get_peft_model_state_dict(self, old_state_dict()) ).__get__..