이전 시간에는 간단히 2계층 신경망을 구성해 보았다, 엄청 느리지만 몇줄 안되는 코드로 숫자 맞추기가 86% 넘는 정확도로 학습되었다. 중간에 학습된 매개변수를 저장했다면 직접 손글씨를 써서 예측을 돌려 볼 수도 있었을 것이다. 신경망은 학습데이터를 입력받고 손실을 출력한다. \(W\), \(b\) 매개변수를 미분하는 것이 신경만의 첫번째 핵심 원리이다. 이전 장에서처럼 미분을 한다면 많은 연산량으로 인해 컴퓨팅 성능에 한계가 생긴다. 미분을 빨리 수행하는 것이 두번째 핵심 원리이다. 오차역전파법 오차역 전파법의 핵심은 합성함수의 미분이다. \(z = g(f(x))\) 라는 함수가 있을 때 \(y = f(x)\) 와 \(z = g(y)\) 라는 두 함수로 표현할 수 있다. \(x\) 에 대한 \(z\)의..

개요 Next.js 를 위해서는 자동 설치가 있고 공식문서: https://nextjs.org/docs/getting-started/installation#automatic-installation 수동 설치도 있다. 공식문서: https://nextjs.org/docs/getting-started/installation#manual-installation 수동 설치는 이 블로그에 더 자세히 적어놓았으니 참고 : https://x2bee.tistory.com/category/Next.js%20%EA%B0%9C%EB%B0%9C%20%EA%B0%80%EC%9D%B4%EB%93%9C/01.%20Set%20up 여기서는 create-next-app을 이용해 자동 설치를 한다. Setup 1. create app ..

이전 장에서는 경사하강법, 활성화 함수, 오차함수에 대해서 알아봤다. 이번 장에는 이전 장에서 구성된 파이썬 소스를 이용해 가장 단순한 형태의 신경망을 구성해본다. 신경망 네트워크는 2계층을 구성한다. network.py from layers import * from gradient import * class TwoLayerNet: # 생성자에서 하이퍼 파라미터를 받는다 def __init__(self, input_size, hidden_size, output_size, weight_init_std=0.01): # 가중치(Weight) 초기화 # W1, W2 가중치는 정규 분포로 초기화 # b1, b2 편향은 0으로 초기화 self.params = { 'W1': weight_init_std * np.ra..

Fetch browser 개발자도구 console에서 fetch를 사용해도 에러가 나지 않는다 → browser native한 javascript 커맨드 fetch('https://jsonplaceholder.typicode.com/todos') 위 주소로 fetch를 보낼 수 있다. fetch는 asynchronos function이므로 const data = fetch('...'); 이런 식으로 바로 사용할 수 없다. reponse의 형태는 json format으로 key에 따옴표가 있음 → javascript object과 표기가 다름. [ { "userId": 1, "id": 1, "title": "delectus aut autem", "completed": false }, { ... promis..

RDD는 Spark에서 중요한 개념 중 하나입니다. 스파크의 데이터 구조는 크게 RDD, Dataframe, Dataset으로 구분 할 수 있습니다. RDD (Reliable Distributed Dataset) RDD는 Spark 1.0부터 도입된 가장 기초적인 데이터 구조입니다. RDD는 변경이 불가는한 데이터(객체)의 집합으로 여러 분산 노드에 걸쳐 저장됩니다. 각 RDD는 여러 개의 파티션으로 분리되어 있어서 이는 변경이 불가능하며 변경을 원할 겨웅 새로운 데이터 셋을 생성해야합니다. RDD의 생성 RDD는 외부에서 데이터를 로딩하거나 코드에서 생성된 데이터를 저장함으로써 생성될 수 있습니다. 데이터 로딩은 Lazy 로딩 컨셉을 사용하며, 실제로는 action이 수행될 때 데이터가 로딩됩니다. R..

신경망을 이해하기 위해서는 퍼셉트론을 이해하는 것이 좋다. 간단하게 퍼셉트론을 설명하자면 선형함수(직선의 방정식) 와 활성화 함수의 조합이라 할 수 있다. 직선의 방정식은 \( y = ax + b \) 로 표현할 수 있는데, 활성화 함수는 \(y\) 가 특정 임계값을 넘으면 뉴런을 활성 시키는 역할을 한다. 뉴런이 활성화 되는 것은 true, 비활성화 되는 것을 fals의 상태로 보고 논리회로를 퍼셉트론으로 구현하면서, XOR 게이트의 비선형성을 다층 퍼셉트론으로 설명한다. 단일 퍼센트론은 하나의 뉴런이고 다층 퍼셉트론은 신경망이라고 할 수 있다. 다층 퍼셉트론으로는 비선형적 경계, 다시 말해 2차원 평면상에서의 곡선, 다차원 공간에서 경계를 표현할 수 있기 때문에 신경망을 다층 퍼셉트론으로 설명한다. ..

1. 모델 데이터 전처리하기 모델을 데이터셋으로 학습시키기 전에 데이터를 모델이 처리할 수 있는 입력 형식으로 전처리해야 합니다. 텍스트, 이미지, 오디오 등 어떤 데이터든 텐서 배치로 변환하고 결합해야 합니다. Transformers는 데이터를 모델에 맞게 준비하는 데 도움이 되는 여러 전처리 클래스를 제공합니다. 텍스트 : Tokenizer를 사용하여 텍스트를 토큰 시퀀스로 변환하고, 토큰의 숫자 표현을 만들고, 이를 텐서로 결합합니다. 음성 및 오디오 : Feature extractor를 사용하여 오디오 파형에서 시퀀스 특징을 추출하고 텐서로 변환합니다. 이미지 입력 : ImageProcessor를 사용하여 이미지를 텐서로 변환합니다. 멀티모달 입력 : Processor를 사용하여 토크나이저와 피처..

1. PyTorch AutoModelFor... 클래스를 사용하면 주어진 작업에 대해 사전 훈련된 모델을 로드할 수 있습니다. 예를 들어, AutoModelForSequenceClassification.from_pretrained() 를 사용하여 시퀀스 분류 모델을 로드할 수 있습니다. from transformers import AutoModelForSequenceClassification model = AutoModelForSequenceClassification.from_pretrained("distilbert-base-uncased") 동일한 체크포인트를 쉽게 재사용하여 다른 작업을 위한 아키텍처를 로드할 수 있습니다. from transformers import AutoModelForTokenC..

* AutoTokenizer 거의 모든 NLP(자연어 처리) 작업은 토크나이저로 시작됩니다. 토크나이저는 입력을 모델이 처리할 수 있는 숫자 형식으로 변환합니다. AutoTokenizer.from_pretrained() 를 사용하여 토크나이저를 자동으로 로드할 수 있습니다. from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased") 토크나이저를 불러온 후 아래와 같이 토큰화(Embeding) 합니다. sequence = "In a hole in the ground there lived a hobbit." print(tokenizer(sequence)) 토큰화의 결과는 다음과 같습니다..

* AutoClass를 사용하여 사전 훈련된 인스턴스 로드 Transformer 아키텍처가 너무 많기 때문에 체크포인트에 맞는 아키텍처를 만드는 것이 어려울 수 있습니다. Transformers의 핵심 철학 중 하나는 라이브러리를 쉽고 간단하며 유연하게 사용하는 것입니다. AutoClass는 주어진 체크포인트에서 올바른 아키텍처를 자동으로 인퍼런스하고 로드합니다. from_pretrained() 메서드를 사용하면 모든 아키텍처에 대해 사전 훈련된 모델을 빠르게 로드할 수 있으므로 모델을 처음부터 훈련하는 데 시간과 리소스를 할애할 필요가 없습니다. 이러한 유형의 체크포인트 독립적 코드를 생성하면 아키텍처가 다르더라도 유사한 작업을 위해 훈련된 한 체크포인트에서 코드가 작동하면 다른 체크포인트에서도 작동합..

* accelerate를 사용하여 대형 모델에서 파이프라인 사용 accelerate 를 사용하여 대형 모델에서 파이프라인을 쉽게 실행할 수 있습니다! 먼저 accelerate 와 bitsandbytes 라이브러리를 설치합니다. $ pip install accelerate, bitsandbytes 그리고 device_map="auto" 를 사용하여 모델을 로드합니다. * 이 예제에서는 facebook/opt-1.3b 모델을 사용합니다. import torch from transformers import pipeline pipe = pipeline(model="facebook/opt-1.3b", torch_dtype=torch.bfloat16, device_map="auto") output = pipe("T..

* 웹 서버에 파이프라인 사용 1. 시각적 파이프라인 시각적 작업에 pipeline()을 사용하는 방법도 이전 방법들과 거의 동일합니다. 작업을 지정하고 이미지 분류기에 이미지를 전달합니다. 이미지는 링크, 로컬 경로 또는 base64로 인코딩된 이미지일 수 있습니다. pipeline() 을 사용하여 아래 고양이사진을 어떻게 판단하는지 분류해보겠습니다. >>> from transformers import pipeline >>> vision_classifier = pipeline(model="google/vit-base-patch16-224") >>> preds = vision_classifier( ... images="https://huggingface.co/datasets/huggingface/docu..

* 데이터 세트에 파이프라인 사용 파이프라인은 대규모 데이터 세트에서도 인퍼런스를 실행할 수 있습니다. 이를 수행하는 가장 쉬운 방법은 반복문을 사용하는 것입니다. def data(): for i in range(1000): yield f"My example {i}" pipe = pipeline(model="gpt2", device=0) generated_characters = 0 for out in pipe(data()): generated_characters += len(out[0]["generated_text"]) 함수 data()는 각 결과를 생성하고, 파이프라인은 입력이 반복 가능하다는 것을 자동으로 인식하고 GPU에서 처리를 계속하는 동안 데이터를 가져오기 시작합니다 (내부적으로 DataLoa..

Topic. 파이프라인 파라미터에 대해 알아봅니다. * pipeline parameters pipeline() 함수는 다양한 파라미터를 지원합니다. 일부는 작업별 파라미터이고 일부는 모든 파이프라인에 공통적인 파라미터입니다. 일반적으로 원하는 위치에서 파라미터를 지정할 수 있습니다: transcriber = pipeline(model="openai/whisper-large-v2", my_parameter=1) out = transcriber(...) # 이 경우 `my_parameter=1`을 사용합니다. out = transcriber(..., my_parameter=2) # 이 경우 `my_parameter=2`로 재정의하여 사용합니다. out = transcriber(...) # 다시 `my_par..

Topic. 파이프라인 사용 방법에 대해 알아봅니다. 1. 파이프라인을 사용한 인퍼런스 pipeline() 함수를 사용하면 Hugging Face Hub에 있는 모든 모델을 언어, 컴퓨터 비전, 음성 및 멀티모달 작업에 대한 추론에 간편하게 사용할 수 있습니다. 특정 모달리티에 대한 경험이 없거나 모델의 기본 코드를 잘 알지 못하더라도 pipeline() 함수를 사용하여 추론을 수행할 수 있습니다! 파이프라인을 활용한 세가지 사용 방법을 알아봅시다. pipeline() 함수를 사용한 추론 특정 토크나이저 또는 모델 사용 오디오, 비전 및 멀티모달 작업에 pipeline() 함수 사용 2. 파이프라인 사용법 각 작업에 해당하는 pipeline() 함수가 있지만, 모든 작업별 파이프라인을 포함하는 일반 pi..

Next.js에는 SEO 및 웹 공유성을 향상시키기 위해 애플리케이션 메타데이터를 정의하는 데 사용할 수 있는 Metadata API가 있다. 이를 통해 HTML head 요소 내에서 meta 및 link 태그를 추가할 수 있다. 정적 Meta Data layout.js 또는 정적 page.js 파일에서 Metadata 객체를 내보낸다. //layout.tsx export const metadata: Metadata = { title: 'NEXT MALL', description: 'X2BEE MALL FO by Plateer', icons: { icon: '/favicon.ico', }, }; 동적 Meta Data generateMetadata 함수를 사용하여 동적 Meta Data를 구성할 수 있다..

서버 액션에 try/catch 추가 먼저 오류를 적절하게 처리할 수 있도록 JavaScript의 try/catch 문을 서버 액션에 추가해 보자. 이를 수행하는 방법을 알고 있다면 서버 액션을 업데이트하는 데 몇 분 정도 시간을 투자하거나 아래 코드를 복사할 수 있다. /app/lib/actions.ts export async function createInvoice(formData: FormData) { const { customerId, amount, status } = CreateInvoice.parse({ customerId: formData.get('customerId'), amount: formData.get('amount'), status: formData.get('status'), }); ..

Topic. google vertext AI gemini 를 테스트해봅니다. 1. API key 발급 아래 사이트에서 발급받으세요. https://makersuite.google.com/app/apikey 로그인 - Google 계정 이메일 또는 휴대전화 accounts.google.com 2. 라이브러리 설치 $ pip install google-generativeai 3. 소스 작성 import google.generativeai as genai GOOGLE_API_KEY = '[위에서 발급받은 API KEY]' genai.configure(api_key=GOOGLE_API_KEY) # 구글에서 제공하는 Generate AI API 목록 출력 for m in genai.list_models(): if..

Parallel Routes Parallel Routes는 동시에 또는 조건부로 동일한 레이아웃 내에서 하나 이상의 페이지를 렌더링할 수 있게 해준다. 이는 앱의 매우 동적인 섹션인 대시보드나 소셜 사이트의 피드와 같은 경우에 유용하다. 예를 들어, 대시보드를 고려해보면 병렬 루트를 사용하여 팀 및 분석 페이지를 동시에 렌더링할 수 있다. Parallel Routes는 명명된 슬롯을 사용하여 생성됩니다. 슬롯은 @폴더 관례로 정의된다. 아래 예시는 @team 및 @user 두 개의 슬롯을 정의한다. 슬롯은 공유 부모 레이아웃에 속성(props)으로 전달된다. 위의 예에서는 app/layout.js의 컴포넌트가 이제 @team 및 @user 슬롯 속성을 받아들이고, 이를 자식 속성(children prop..

프로젝트 루트 디렉터리에 middleware.ts (또는 .js) 파일을 사용하여 미들웨어를 정의할 수 있다. 예를 들어, pages나 app과 같은 수준에 두거나 적용 가능한 경우 src 내부에 위치시킬 수 있다. Matching Paths 미들웨어는 프로젝트의 모든 라우트에 대해 호출된다. 실행 순서 next.config.js에서 정의된 헤더 next.config.js에서 정의된 redirects 미들웨어 (rewrites, redirects 등) next.config.js에서 정의된 beforeFiles (rewrites) 파일 시스템 routes (public/, _next/static/, pages/, app/ 등) next.config.js에서 정의된 afterFiles (리라이트) 동적 라우..