[이론] 3-1 AutoClass

* AutoClass를 사용하여 사전 훈련된 인스턴스 로드

Transformer 아키텍처가 너무 많기 때문에 체크포인트에 맞는 아키텍처를 만드는 것이 어려울 수 있습니다. Transformers의 핵심 철학 중 하나는 라이브러리를 쉽고 간단하며 유연하게 사용하는 것입니다. AutoClass는 주어진 체크포인트에서 올바른 아키텍처를 자동으로 인퍼런스하고 로드합니다.

 

from_pretrained() 메서드를 사용하면 모든 아키텍처에 대해 사전 훈련된 모델을 빠르게 로드할 수 있으므로 모델을 처음부터 훈련하는 데 시간과 리소스를 할애할 필요가 없습니다. 이러한 유형의 체크포인트 독립적 코드를 생성하면 아키텍처가 다르더라도 유사한 작업을 위해 훈련된 한 체크포인트에서 코드가 작동하면 다른 체크포인트에서도 작동합니다.

 

아키텍처는 모델의 골격을 의미하고 체크포인트는 특정 아키텍처의 가중치입니다.

예를 들면, BERT는 아키텍처이고 bert-base-uncased는 체크포인트입니다.

모델은 아키텍처 또는 체크포인트를 의미하는 일반적인 용어입니다.

 

이 카테고리 에서는 아래 내용들을 배우게 됩니다:

• 사전 훈련된 토크나이저 로드
• 사전 훈련된 이미지 프로세서 로드
• 사전 훈련된 특징 추출기 로드
• 사전 훈련된 프로세서 로드
• 사전 훈련된 모델 로드
• 백본으로 모델 로드