* 웹 서버에 파이프라인 사용 1. 시각적 파이프라인 시각적 작업에 pipeline()을 사용하는 방법도 이전 방법들과 거의 동일합니다. 작업을 지정하고 이미지 분류기에 이미지를 전달합니다. 이미지는 링크, 로컬 경로 또는 base64로 인코딩된 이미지일 수 있습니다. pipeline() 을 사용하여 아래 고양이사진을 어떻게 판단하는지 분류해보겠습니다. >>> from transformers import pipeline >>> vision_classifier = pipeline(model="google/vit-base-patch16-224") >>> preds = vision_classifier( ... images="https://huggingface.co/datasets/huggingface/docu..

* 데이터 세트에 파이프라인 사용 파이프라인은 대규모 데이터 세트에서도 인퍼런스를 실행할 수 있습니다. 이를 수행하는 가장 쉬운 방법은 반복문을 사용하는 것입니다. def data(): for i in range(1000): yield f"My example {i}" pipe = pipeline(model="gpt2", device=0) generated_characters = 0 for out in pipe(data()): generated_characters += len(out[0]["generated_text"]) 함수 data()는 각 결과를 생성하고, 파이프라인은 입력이 반복 가능하다는 것을 자동으로 인식하고 GPU에서 처리를 계속하는 동안 데이터를 가져오기 시작합니다 (내부적으로 DataLoa..

Topic. 파이프라인 파라미터에 대해 알아봅니다. * pipeline parameters pipeline() 함수는 다양한 파라미터를 지원합니다. 일부는 작업별 파라미터이고 일부는 모든 파이프라인에 공통적인 파라미터입니다. 일반적으로 원하는 위치에서 파라미터를 지정할 수 있습니다: transcriber = pipeline(model="openai/whisper-large-v2", my_parameter=1) out = transcriber(...) # 이 경우 `my_parameter=1`을 사용합니다. out = transcriber(..., my_parameter=2) # 이 경우 `my_parameter=2`로 재정의하여 사용합니다. out = transcriber(...) # 다시 `my_par..

Topic. 파이프라인 사용 방법에 대해 알아봅니다. 1. 파이프라인을 사용한 인퍼런스 pipeline() 함수를 사용하면 Hugging Face Hub에 있는 모든 모델을 언어, 컴퓨터 비전, 음성 및 멀티모달 작업에 대한 추론에 간편하게 사용할 수 있습니다. 특정 모달리티에 대한 경험이 없거나 모델의 기본 코드를 잘 알지 못하더라도 pipeline() 함수를 사용하여 추론을 수행할 수 있습니다! 파이프라인을 활용한 세가지 사용 방법을 알아봅시다. pipeline() 함수를 사용한 추론 특정 토크나이저 또는 모델 사용 오디오, 비전 및 멀티모달 작업에 pipeline() 함수 사용 2. 파이프라인 사용법 각 작업에 해당하는 pipeline() 함수가 있지만, 모든 작업별 파이프라인을 포함하는 일반 pi..

topic. huggingface transformers 라이브러리를 사용해봅시다. 1. 개요 모든 개발자들이나 모든 딥러닝을 하고자 하는 사용자들이 쉽게 접근할 수 있도록 pipeline() 을 사용하는 방법과 AutoClass 를 사용하여 사전 훈련된 모델 및 전처리기를 로드하고 PyTorch 또는 텐서플로우를 이용하여 모델을 빠르게 학습시키는 방법을 알아봅니다. 2. 본론 1. 설치 설치는 파이썬 패키지를 설치하는 방법과 동일합니다. datasets 은 학습을 위한 데이터를 불러오고 가공하는 용도로 사용합니다. pip install transformers datasets 또 실습을 위해 필요한 패키지도 설치합니다. pip install torch pip install tensorflow 2. pip..

Topic. 🤗(Huggingface) Transformers 라이브러리에 대해 알아봅니다. 1. 개요 transformers 라이브러리는 파이썬에서 사용할 수 있는 딥러닝을 위한 통합 라이브러리입니다. 딥러닝을 할때 동원되는 PyTorch, TensorFlow, JAX 간의 상호 운용성을 지원하여 모델 라이프사이클 단계에서 다른 프레임워크를 사용할 수 있는 유연성을 제공합니다. 코드 세줄만으로도 모델을 훈련시키고 다른 프레임워크에서 추론을 위해 로드할 수 있도록 해주는 아주 고마운 라이브러랍니다. 학습한 모델은 생산 환경에서 배포하기 위해 ONNX 및 TorchScript와 같은 형식으로 내보낼 수 있으며, huggingface 에 업로드 해놓고 필요할 때 모델을 다운로드하여 사용할 수 있습니다. 2...