Topic. google vertext AI gemini 를 테스트해봅니다. 1. API key 발급 아래 사이트에서 발급받으세요. https://makersuite.google.com/app/apikey 로그인 - Google 계정 이메일 또는 휴대전화 accounts.google.com 2. 라이브러리 설치 $ pip install google-generativeai 3. 소스 작성 import google.generativeai as genai GOOGLE_API_KEY = '[위에서 발급받은 API KEY]' genai.configure(api_key=GOOGLE_API_KEY) # 구글에서 제공하는 Generate AI API 목록 출력 for m in genai.list_models(): if..

Topic. 퍼셉트론에 대해 알아봅니다. 1. 개요 퍼셉트론이란 인공신경망의 한 종류입니다. 여러가지 입력값에 따른 중요도를 결정하고 임계치와 활성함수를 통해 옳고 그름을 판단하는 것이 목적입니다. 2. 도식화 위 그림에서 모의고사 점수가 입력값이고 중요도는 가중치 입니다. 커트라인이 임계값이라고 보면 단일 퍼셉트론의 개념이 됩니다.

Topic. LoRA(Low-Rank Adaptation) 에 대해 알아봅니다. 1. LoRA 란? Low-Rank Adaptation 약어로 Huggingface 에서 개발한 Parameter-Efficient Fine-Tuning (PEFT) 방식 중 하나입니다. 파이썬의 peft 라이브러리를 사용하여 쉽게 LoRA 를 사용할 수 있습니다. 2. 개요 기존 full fine-tuning은 pre-trained Model 전체 파라미터에 가중치와 역전파(back propagation)의 기울기를 더하는 방식입니다. LoRA 는 기존의 LLM을 직접 fine-tuning 하는 대신, 새로운 레이어(LoRA adapter 의 A Layer, B Layer)를 삽입해서 훈련하는 방식입니다. LoRA는 훈련 ..

Topic. 가우스 함수의 개념, 위상에 대해 알아봅니다. 1. 개요 '가우스 함수' 란 카를 프리드리히 가우스가 수많은 분야에 업적을 남겼기 때문에, 가우스라는 이름이 여러 분야에서 널리 쓰이고 있습니다. 어떤 특정한 함수를 하나만을 가리키지는 않고 그래프의 좌우가 0에 수렴하며 중간이 최고 높이인 모양을 모두 가우스 함수라고 칭합니다. 중간 높이가 최고인점을 착안하여 '최대 정수 함수' 라고도 합니다. 이 함수가 어떻게 나왔는지 알기 위해서는 높은 수준의 수학지식이 필요하므로 우리는 모양과 변화에만 집중해서 관찰해봅시다. 2. 위상 위상이라는 멋있는 단어를 썼지만 그냥 쉽게 모양이라고 합시다. 가우스함수의 모양은 언덕모양처럼 생겼습니다. 3. 그래프 위 함수가 바로 가우스 함수입니다. x 는 지수이..

Topic. '선형 회귀 모델'과 '경사하강법' 에 대하여 알아봅니다. 일단 때려 맞추고 조정하기 선형회귀란 관련된 여러가지 숫자들을 이용하여 우리가 알수 없는 숫자를 예측하는 데이터 분석기법을 말합니다. 아주 쉬운 예로 공부 시간에 따른 성적을 이용하여 그래프를 그려보는 예가 있습니다. 이 예시는 다음 장에서 다뤄보도록 하겠습니다. 선형회귀는 단순선형회귀, 다중선형회귀, 로지스틱회귀 세가지 유형이 있습니다. 그 전에 선형회귀에 필요한 경사하강법을 알아보도록 하겠습니다. 경사 하강 법 지금까지 배운 딥러닝을 요약하자면 y=ax+b 에서 적절한 a와 b를 찾아 이를 대입시키고 새로운 x에 대한 y를 구하는 것이며 이 a와 b를 찾기 위해서는 정답과의 오차를 최소화 하기 위해 미분을 이용하는 것이 시작이었습..

Topic. 딥러닝을 이해하기 위해 필요한 수학적 지식을 설명합니다. AI 와 수학 쉽게 설명하자면 AI는 확률적 통계를 이용한 프로그램에 가깝습니다. 통계는 숫자를 이용하여 나타납니다. 기존 데이터가 수치로 표현되어 있다면 해당 수치들을 이용하여 딥러닝을 할 수 있습니다. LLM 과 같이 챗봇으로 사용되는 생성형 AI 모델을 이용할 때에는 문자를 컴퓨터가 이해할 수 있도록 숫자로 표현해야 합니다. 이렇게 일상생활에 일어나는 상황들을 숫자로 변환하는 작업을 임베딩(embedding) 이라고 합니다. 임베딩의 결과로 나타난 숫자들은 배열로 표시됩니다. 예를들어 알파벳 a 부터 z 까지 1-26 까지 숫자를 붙인다고 가정했을 때 'apple' 은 [1,16,16,12,5] 로 임베딩됩니다. 이렇게 숫자로 변..