[실습] Huggingface Leaderboard 올리기 전 평가

# 영어 리더보드

# 평가 도구 다운로드
git clone https://github.com/EleutherAI/lm-evaluation-harness

# 다운로드된 폴더로 이동
cd lm-evaluation-harness

# 패키지 설치
pip install -r requirements.txt
pip install evaluate

lm_eval \
  --model hf \
  --model_args pretrained={Your Model Huggingface ID} \
  --tasks hellaswag,copa,boolq,mmlu \
  --device cuda:0 \
  --batch_size 1 \
  --num_fewshot {0~50}

 

# 한국어 리더보드

git clone https://github.com/Beomi/ko-lm-evaluation-harness

python main.py \
  --model gpt2 \
  --model_args pretrained={Your Model Huggingface ID} \
  --tasks hellaswag,copa,boolq,mmlu \
  --device cuda:0 \
  --batch_size 1 \
  --num_fewshot {0~50}