* AutoTokenizer 거의 모든 NLP(자연어 처리) 작업은 토크나이저로 시작됩니다. 토크나이저는 입력을 모델이 처리할 수 있는 숫자 형식으로 변환합니다. AutoTokenizer.from_pretrained() 를 사용하여 토크나이저를 자동으로 로드할 수 있습니다. from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased") 토크나이저를 불러온 후 아래와 같이 토큰화(Embeding) 합니다. sequence = "In a hole in the ground there lived a hobbit." print(tokenizer(sequence)) 토큰화의 결과는 다음과 같습니다..

* AutoClass를 사용하여 사전 훈련된 인스턴스 로드 Transformer 아키텍처가 너무 많기 때문에 체크포인트에 맞는 아키텍처를 만드는 것이 어려울 수 있습니다. Transformers의 핵심 철학 중 하나는 라이브러리를 쉽고 간단하며 유연하게 사용하는 것입니다. AutoClass는 주어진 체크포인트에서 올바른 아키텍처를 자동으로 인퍼런스하고 로드합니다. from_pretrained() 메서드를 사용하면 모든 아키텍처에 대해 사전 훈련된 모델을 빠르게 로드할 수 있으므로 모델을 처음부터 훈련하는 데 시간과 리소스를 할애할 필요가 없습니다. 이러한 유형의 체크포인트 독립적 코드를 생성하면 아키텍처가 다르더라도 유사한 작업을 위해 훈련된 한 체크포인트에서 코드가 작동하면 다른 체크포인트에서도 작동합..

* accelerate를 사용하여 대형 모델에서 파이프라인 사용 accelerate 를 사용하여 대형 모델에서 파이프라인을 쉽게 실행할 수 있습니다! 먼저 accelerate 와 bitsandbytes 라이브러리를 설치합니다. $ pip install accelerate, bitsandbytes 그리고 device_map="auto" 를 사용하여 모델을 로드합니다. * 이 예제에서는 facebook/opt-1.3b 모델을 사용합니다. import torch from transformers import pipeline pipe = pipeline(model="facebook/opt-1.3b", torch_dtype=torch.bfloat16, device_map="auto") output = pipe("T..

* 웹 서버에 파이프라인 사용 1. 시각적 파이프라인 시각적 작업에 pipeline()을 사용하는 방법도 이전 방법들과 거의 동일합니다. 작업을 지정하고 이미지 분류기에 이미지를 전달합니다. 이미지는 링크, 로컬 경로 또는 base64로 인코딩된 이미지일 수 있습니다. pipeline() 을 사용하여 아래 고양이사진을 어떻게 판단하는지 분류해보겠습니다. >>> from transformers import pipeline >>> vision_classifier = pipeline(model="google/vit-base-patch16-224") >>> preds = vision_classifier( ... images="https://huggingface.co/datasets/huggingface/docu..

* 데이터 세트에 파이프라인 사용 파이프라인은 대규모 데이터 세트에서도 인퍼런스를 실행할 수 있습니다. 이를 수행하는 가장 쉬운 방법은 반복문을 사용하는 것입니다. def data(): for i in range(1000): yield f"My example {i}" pipe = pipeline(model="gpt2", device=0) generated_characters = 0 for out in pipe(data()): generated_characters += len(out[0]["generated_text"]) 함수 data()는 각 결과를 생성하고, 파이프라인은 입력이 반복 가능하다는 것을 자동으로 인식하고 GPU에서 처리를 계속하는 동안 데이터를 가져오기 시작합니다 (내부적으로 DataLoa..

Topic. 파이프라인 파라미터에 대해 알아봅니다. * pipeline parameters pipeline() 함수는 다양한 파라미터를 지원합니다. 일부는 작업별 파라미터이고 일부는 모든 파이프라인에 공통적인 파라미터입니다. 일반적으로 원하는 위치에서 파라미터를 지정할 수 있습니다: transcriber = pipeline(model="openai/whisper-large-v2", my_parameter=1) out = transcriber(...) # 이 경우 `my_parameter=1`을 사용합니다. out = transcriber(..., my_parameter=2) # 이 경우 `my_parameter=2`로 재정의하여 사용합니다. out = transcriber(...) # 다시 `my_par..