1. Polar는 플래티어의 고유 sLLM 모델로, 이커머스의 고품질 데이터를 학습하여 설계되었습니다. 2. 특히, 내부 SCM체계에서의 재고, 단가, 협력사 정보등 민감정보를 안정하게 보호하며 Gen AI 기능을 제공이 가능합니다. 3. Polar는 임베딩 모델 및 벡터DB 제공을 통해 서비스시 정확한 정보제공이 가능 합니다. 4. ModernBERT를 기반으로 한국어 성능을 강화해, 한국어 텍스트의 잠재적 의미를 파악하는 고성능 임베딩 모델을 운영하고 있습니다. 도메인 업무 전반에 활용되며, 업무 효율과 공급자 고객 경험을 극대화하여 조달 산업 전반의 디지털 혁신을 이끄는 Use-Case는 하기 주소를 참조하시기 바랍니다. https://tech.x2bee.com/pag..

DeepSeek를 살펴보려면 좀 길다. 1. DeepSeek LLM (https://arxiv.org/pdf/2401.02954)2. DeepSeek MOE (https://arxiv.org/pdf/2401.06066)3. DeepSeek-V2 (https://arxiv.org/pdf/2405.04434)4. DeepSeek-V3 (https://github.com/deepseek-ai/DeepSeek-V3/blob/main/DeepSeek_V3.pdf)5. DeepSeek-R1 (https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf) 전부 나름의 Contribution을 주장하고 있는데 ...오늘 살펴볼만한 것은 R1의 방법론이기 때..

세세하게 살펴보기엔 알아야 할 지식들이 많으니 간단하게만 살펴보자.Microsoft에서 발표하였으며, 2023년 ICLR에 Accept 된 [논문]이다. 논문에서도 3장에서 딱 두 가지의 차별점만 언급한다. 1. DISENTANGLED ATTENTION 2. ENHANCED MASK DECODER  간단하게 살펴보자DISENTANGLED ATTENTION이런 짓거리를 왜 하는지를 이해하려면 Transformer의 구조적 이해가 필수적이다.사실 Transformer에서도 충분한 고려를 진행하고 있지만, 부족했나보다. 핵심은 Position이다. Transformer의 장점이 무엇인가.기존 RNN에서 순차적으로 처리되던 정보를, Matrix형태로 표현할 수 있게 되었다. 그런데 Matrix의 개별 Row는 ..

컴퓨팅 성능의 발전, 초거대 언어 모델의 등장은 Natural Language Processing 분야를 비약적으로 발전시켰다.그리고 이젠 어떻게 이미 만들어진 LLM을 고도화 시킬까의 문제를 마주하고 있다. Chain of Thought 이후 생겨난 수많은 프롬프트들이나Retrieval Augmented Generation 를 이용한 생성이전에 소개한 LangChain이나 LangGraph도 결국 LLM을 효과적으로 사용하기 위한 Tool Chain이다. 오늘 소개할 것은 효과적인 지식 구조이자최근에 만들어지는 RAG를 고도화 하는 새로운 기법인 GraphRAG이다.Knowledge Graph본 내용을 이해하기 위해서는 먼저 Graph에 대해 알아야 할 것이다.물론 너무 깊게 들어갈 수는 없기에, 지식..

[논문]은 Mamba라는 이름의 Non-Attention 기반으로 순차적인 데이터를 추론하는 하나의 알고리듬이다. Mamba: Linear-Time Sequence Modeling with Selective State SpacesFoundation models, now powering most of the exciting applications in deep learning, are almost universally based on the Transformer architecture and its core attention module. Many subquadratic-time architectures such as linear attention, gated convolutionarxiv.org 어쩌다 ..

관련 시리즈더보기관련 시리즈 목록2024.11.11 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 1. LangGrpah(랭그래프)를 이용한 AI Workflow 관리하기2024.11.13 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 2. LangGrpah(랭그래프)의 핵심 요소의 개념적 이해2024.11.14 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 3. Chain과 Agent를 이용한 Workflow 구현 - 쿼리 추출 모델2024.11.20 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 4. LangGraph를 이용한 RAG 및 검색 Agent 개발 ..