Topic. Fine-tuning 후 기존 base 모델과 생성된 adapter_model 을 merge합니다. 1. huggingface login $ pip install huggingface_hub $ huggingface-cli login 1.1 허깅페이스에서 발급받은 토큰 입력 2. Base Model 가져오기 from transformers import AutoModelForCausalLM, AutoTokenizer model_pretrained_name = {base model id} path_to_lora_adapters = {adapter model path} #모델 불러오기 model = AutoModelForCausalLM.from_pretrained( model_pretrained_..

1. 모델 데이터 전처리하기 모델을 데이터셋으로 학습시키기 전에 데이터를 모델이 처리할 수 있는 입력 형식으로 전처리해야 합니다. 텍스트, 이미지, 오디오 등 어떤 데이터든 텐서 배치로 변환하고 결합해야 합니다. Transformers는 데이터를 모델에 맞게 준비하는 데 도움이 되는 여러 전처리 클래스를 제공합니다. 텍스트 : Tokenizer를 사용하여 텍스트를 토큰 시퀀스로 변환하고, 토큰의 숫자 표현을 만들고, 이를 텐서로 결합합니다. 음성 및 오디오 : Feature extractor를 사용하여 오디오 파형에서 시퀀스 특징을 추출하고 텐서로 변환합니다. 이미지 입력 : ImageProcessor를 사용하여 이미지를 텐서로 변환합니다. 멀티모달 입력 : Processor를 사용하여 토크나이저와 피처..

1. PyTorch AutoModelFor... 클래스를 사용하면 주어진 작업에 대해 사전 훈련된 모델을 로드할 수 있습니다. 예를 들어, AutoModelForSequenceClassification.from_pretrained() 를 사용하여 시퀀스 분류 모델을 로드할 수 있습니다. from transformers import AutoModelForSequenceClassification model = AutoModelForSequenceClassification.from_pretrained("distilbert-base-uncased") 동일한 체크포인트를 쉽게 재사용하여 다른 작업을 위한 아키텍처를 로드할 수 있습니다. from transformers import AutoModelForTokenC..

* AutoTokenizer 거의 모든 NLP(자연어 처리) 작업은 토크나이저로 시작됩니다. 토크나이저는 입력을 모델이 처리할 수 있는 숫자 형식으로 변환합니다. AutoTokenizer.from_pretrained() 를 사용하여 토크나이저를 자동으로 로드할 수 있습니다. from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased") 토크나이저를 불러온 후 아래와 같이 토큰화(Embeding) 합니다. sequence = "In a hole in the ground there lived a hobbit." print(tokenizer(sequence)) 토큰화의 결과는 다음과 같습니다..

* AutoClass를 사용하여 사전 훈련된 인스턴스 로드 Transformer 아키텍처가 너무 많기 때문에 체크포인트에 맞는 아키텍처를 만드는 것이 어려울 수 있습니다. Transformers의 핵심 철학 중 하나는 라이브러리를 쉽고 간단하며 유연하게 사용하는 것입니다. AutoClass는 주어진 체크포인트에서 올바른 아키텍처를 자동으로 인퍼런스하고 로드합니다. from_pretrained() 메서드를 사용하면 모든 아키텍처에 대해 사전 훈련된 모델을 빠르게 로드할 수 있으므로 모델을 처음부터 훈련하는 데 시간과 리소스를 할애할 필요가 없습니다. 이러한 유형의 체크포인트 독립적 코드를 생성하면 아키텍처가 다르더라도 유사한 작업을 위해 훈련된 한 체크포인트에서 코드가 작동하면 다른 체크포인트에서도 작동합..

* accelerate를 사용하여 대형 모델에서 파이프라인 사용 accelerate 를 사용하여 대형 모델에서 파이프라인을 쉽게 실행할 수 있습니다! 먼저 accelerate 와 bitsandbytes 라이브러리를 설치합니다. $ pip install accelerate, bitsandbytes 그리고 device_map="auto" 를 사용하여 모델을 로드합니다. * 이 예제에서는 facebook/opt-1.3b 모델을 사용합니다. import torch from transformers import pipeline pipe = pipeline(model="facebook/opt-1.3b", torch_dtype=torch.bfloat16, device_map="auto") output = pipe("T..