임베딩은 중요한 영역이다.LLM이든 sLLM이든, 결국 컴퓨터가 '자연어'를 처리하기 위해서는 일종의 변환 과정을 거쳐야 한다. 잠재 공간에 이러한 Text 혹은 Sentence를 매핑하는 과정을 우리는 임베딩이라 부른다.이런 과정을 통해, 컴퓨터는 문장을 숫자로 변환시키고, 이를 연산에 활용할 수 있게 된다.또한 적절한 잠재공간을 통해, 그 문장이 어떤 문장과 '가까운 공간'에 위치하게 되는지도 알 수 있다. 여러모로 유용한 방법이다보니 활용처가 많다.특히 LLM의 성능이 비약적으로 발전하며, RAG를 구축하는 비율이 높아지면 그 관심이 커지고 있다. 대표적인 영역은 다음과 같다. 1. Sentence Similarity2. Sentence Classification3. Sentence Rerankin..

https://dev.to/datamonk_/how-deepseek-is-making-high-performance-ai-accessible-to-all-26fp How DeepSeek is Making High-Performance AI Accessible to AllAI research is evolving fast, but training massive models is still a tough challenge because of the...dev.toLow-Level에 대해서는 잘 모르지만재미있는 기사가 있어 살펴보고자 한다. DeepSeek가 LLM 및 AI를 강타하며, 이젠 비 전문가도 한 번 쯤 들어본 아키텍처로 떠오르고 있다.그러나 사실 DeepSeek의 강렬한 Contribusion은 ..

DeepSeek를 살펴보려면 좀 길다. 1. DeepSeek LLM (https://arxiv.org/pdf/2401.02954)2. DeepSeek MOE (https://arxiv.org/pdf/2401.06066)3. DeepSeek-V2 (https://arxiv.org/pdf/2405.04434)4. DeepSeek-V3 (https://github.com/deepseek-ai/DeepSeek-V3/blob/main/DeepSeek_V3.pdf)5. DeepSeek-R1 (https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf) 전부 나름의 Contribution을 주장하고 있는데 ...오늘 살펴볼만한 것은 R1의 방법론이기 때..

Hugging Face의 Trainer는 매우매우 편리한 도구이지만 Tainer의 코드는 5천줄이 넘어갈 정도로 너무 거대하기 때문에다시 뜯어볼 염두가 나지 않아, 스스로 정리하려고 작성하였다.Hugging Face는 몇 가지 매우 간편한 툴을 제공한다 1. Automodel Class모델의 구조를 Transformers 라이브러리 속에 처박아 두었다.Automodel.from_pretrained(repo_id)로 호출 시model.safetensors와 config.json 파일을 읽어 적절한 모델에 파라미터를 적합시키는 작업을 수행한다.model = ModernBertModel.from_pretrained(save_dir) 이런 방식으로 적절한 모델이 있다면, 적절한 가중치를 가져와서 매핑한다.문제는..

DeepSeek-V3는 6710억 개(토큰당 370억 개 활성) 파라미터를 탑재한 강력한 Mixture-of-Experts(MoE) 기반 언어 모델이다. 효율적인 추론과 비용 효율적인 학습을 위해 DeepSeek-V2에서 검증된 Multi-head Latent Attention(MLA)와 DeepSeekMoE 아키텍처를 적용했다. 또한 전문가 분산을 부가 로스 없이 구현하는 “auxiliary-loss-free” 접근법과 여러 토큰을 한 번에 예측하는 “multi-token prediction” 방식을 도입했다.이 모델은 14.8조 개에 달하는 다양한 고품질 토큰으로 사전학습을 진행했다. 이후 감독학습(Supervised Fine-Tuning)과 강화학습(Reinforcement Learning)을 통해..

세세하게 살펴보기엔 알아야 할 지식들이 많으니 간단하게만 살펴보자.Microsoft에서 발표하였으며, 2023년 ICLR에 Accept 된 [논문]이다. 논문에서도 3장에서 딱 두 가지의 차별점만 언급한다. 1. DISENTANGLED ATTENTION 2. ENHANCED MASK DECODER  간단하게 살펴보자DISENTANGLED ATTENTION이런 짓거리를 왜 하는지를 이해하려면 Transformer의 구조적 이해가 필수적이다.사실 Transformer에서도 충분한 고려를 진행하고 있지만, 부족했나보다. 핵심은 Position이다. Transformer의 장점이 무엇인가.기존 RNN에서 순차적으로 처리되던 정보를, Matrix형태로 표현할 수 있게 되었다. 그런데 Matrix의 개별 Row는 ..