[실습] 2-5 accelerate를 활용한 Pipeline

* accelerate를 사용하여 대형 모델에서 파이프라인 사용

accelerate 를 사용하여 대형 모델에서 파이프라인을 쉽게 실행할 수 있습니다!

먼저 accelerate 와 bitsandbytes 라이브러리를 설치합니다.

$ pip install accelerate, bitsandbytes

그리고 device_map="auto" 를 사용하여 모델을 로드합니다.

* 이 예제에서는 facebook/opt-1.3b 모델을 사용합니다.

import torch
from transformers import pipeline

pipe = pipeline(model="facebook/opt-1.3b", torch_dtype=torch.bfloat16, device_map="auto")
output = pipe("This is a cool example!", do_sample=True, top_p=0.95)

load_in_8bit=True 인수를 추가하면 8비트로 로드된 모델도 전달할 수 있습니다.

import torch
from transformers import pipeline

pipe = pipeline(model="facebook/opt-1.3b", device_map="auto", model_kwargs={"load_in_8bit": True})
output = pipe("This is a cool example!", do_sample=True, top_p=0.95)

 

 

*  Hugging Face 공식문서 인용 - https://huggingface.co/docs