이전 시간에는 간단히 2계층 신경망을 구성해 보았다, 엄청 느리지만 몇줄 안되는 코드로 숫자 맞추기가 86% 넘는 정확도로 학습되었다. 중간에 학습된 매개변수를 저장했다면 직접 손글씨를 써서 예측을 돌려 볼 수도 있었을 것이다. 신경망은 학습데이터를 입력받고 손실을 출력한다. \(W\), \(b\) 매개변수를 미분하는 것이 신경만의 첫번째 핵심 원리이다. 이전 장에서처럼 미분을 한다면 많은 연산량으로 인해 컴퓨팅 성능에 한계가 생긴다. 미분을 빨리 수행하는 것이 두번째 핵심 원리이다. 오차역전파법 오차역 전파법의 핵심은 합성함수의 미분이다. \(z = g(f(x))\) 라는 함수가 있을 때 \(y = f(x)\) 와 \(z = g(y)\) 라는 두 함수로 표현할 수 있다. \(x\) 에 대한 \(z\)의..

이전 장에서는 경사하강법, 활성화 함수, 오차함수에 대해서 알아봤다. 이번 장에는 이전 장에서 구성된 파이썬 소스를 이용해 가장 단순한 형태의 신경망을 구성해본다. 신경망 네트워크는 2계층을 구성한다. network.py from layers import * from gradient import * class TwoLayerNet: # 생성자에서 하이퍼 파라미터를 받는다 def __init__(self, input_size, hidden_size, output_size, weight_init_std=0.01): # 가중치(Weight) 초기화 # W1, W2 가중치는 정규 분포로 초기화 # b1, b2 편향은 0으로 초기화 self.params = { 'W1': weight_init_std * np.ra..

신경망을 이해하기 위해서는 퍼셉트론을 이해하는 것이 좋다. 간단하게 퍼셉트론을 설명하자면 선형함수(직선의 방정식) 와 활성화 함수의 조합이라 할 수 있다. 직선의 방정식은 \( y = ax + b \) 로 표현할 수 있는데, 활성화 함수는 \(y\) 가 특정 임계값을 넘으면 뉴런을 활성 시키는 역할을 한다. 뉴런이 활성화 되는 것은 true, 비활성화 되는 것을 fals의 상태로 보고 논리회로를 퍼셉트론으로 구현하면서, XOR 게이트의 비선형성을 다층 퍼셉트론으로 설명한다. 단일 퍼센트론은 하나의 뉴런이고 다층 퍼셉트론은 신경망이라고 할 수 있다. 다층 퍼셉트론으로는 비선형적 경계, 다시 말해 2차원 평면상에서의 곡선, 다차원 공간에서 경계를 표현할 수 있기 때문에 신경망을 다층 퍼셉트론으로 설명한다. ..

1. 모델 데이터 전처리하기 모델을 데이터셋으로 학습시키기 전에 데이터를 모델이 처리할 수 있는 입력 형식으로 전처리해야 합니다. 텍스트, 이미지, 오디오 등 어떤 데이터든 텐서 배치로 변환하고 결합해야 합니다. Transformers는 데이터를 모델에 맞게 준비하는 데 도움이 되는 여러 전처리 클래스를 제공합니다. 텍스트 : Tokenizer를 사용하여 텍스트를 토큰 시퀀스로 변환하고, 토큰의 숫자 표현을 만들고, 이를 텐서로 결합합니다. 음성 및 오디오 : Feature extractor를 사용하여 오디오 파형에서 시퀀스 특징을 추출하고 텐서로 변환합니다. 이미지 입력 : ImageProcessor를 사용하여 이미지를 텐서로 변환합니다. 멀티모달 입력 : Processor를 사용하여 토크나이저와 피처..

1. PyTorch AutoModelFor... 클래스를 사용하면 주어진 작업에 대해 사전 훈련된 모델을 로드할 수 있습니다. 예를 들어, AutoModelForSequenceClassification.from_pretrained() 를 사용하여 시퀀스 분류 모델을 로드할 수 있습니다. from transformers import AutoModelForSequenceClassification model = AutoModelForSequenceClassification.from_pretrained("distilbert-base-uncased") 동일한 체크포인트를 쉽게 재사용하여 다른 작업을 위한 아키텍처를 로드할 수 있습니다. from transformers import AutoModelForTokenC..

* AutoTokenizer 거의 모든 NLP(자연어 처리) 작업은 토크나이저로 시작됩니다. 토크나이저는 입력을 모델이 처리할 수 있는 숫자 형식으로 변환합니다. AutoTokenizer.from_pretrained() 를 사용하여 토크나이저를 자동으로 로드할 수 있습니다. from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased") 토크나이저를 불러온 후 아래와 같이 토큰화(Embeding) 합니다. sequence = "In a hole in the ground there lived a hobbit." print(tokenizer(sequence)) 토큰화의 결과는 다음과 같습니다..