[라이브러리] 1-1 transformers for A.I. Deep Learning.

Topic. 🤗(Huggingface) Transformers 라이브러리에 대해 알아봅니다.

---

1. 개요

transformers 라이브러리는 파이썬에서 사용할 수 있는 딥러닝을 위한 통합 라이브러리입니다.
딥러닝을 할때 동원되는 PyTorch, TensorFlow, JAX 간의 상호 운용성을 지원하여 모델 라이프사이클 단계에서 다른 프레임워크를 사용할 수 있는 유연성을 제공합니다.  코드 세줄만으로도 모델을 훈련시키고 다른 프레임워크에서 추론을 위해 로드할 수 있도록 해주는 아주 고마운 라이브러랍니다. 학습한 모델은 생산 환경에서 배포하기 위해 ONNX 및 TorchScript와 같은 형식으로 내보낼 수 있으며, huggingface 에 업로드 해놓고 필요할 때 모델을 다운로드하여 사용할 수 있습니다.

---

2. 본론

허깅페이스의 transformers 는 최고 기술로 학습한 사전학습 A.I. 모델을 쉽게 다운로드 하기 위한 API 들과 도구들을 제공합니다. 사전학습 A.I. 모델을 사용하면 컴퓨팅 비용과 탄소배출량을 줄일 수 있습니다. 그리고 모델을 가져오는데 필요한 시간과 자원을 절약할 수 있습니다. 이 모델들은 다음과 같은 다양한 양식의 일반적인 작업을 지원합니다.

- 자연어 처리(NLP) : 텍스트 분류, 명명된 엔티티 인식, 질문 답변, 언어 모델링, 요약, 번역, 객관식 및 텍스트 생성.
- 컴퓨터 비전 : 이미지 분류, 물체 감지 및 세분화.
- 오디오 : 자동 음성 인식 및 오디오 분류.
- 멀티모달 : 테이블 질문 답변, 광학 문자 인식, 스캔한 문서에서 정보 추출, 비디오 분류 및 시각적 질문 답변.

---

3. 결론

이 쳅터에서는 허깅페이스의 transformers 라이브러리에 대해 자세히 알아보고 실습을 통해 모델을 딥러닝 해보는 과정을 가져보도록 하겠습니다.

 

*  Hugging Face 공식문서 인용 - https://huggingface.co/docs