이젠 진짜 LLM의 시대가 도래하였다.아키텍처 중심의 발전이 대부분이였던 자연어 처리 관련 논문들에서도LLM을 고려하지 않는 논문이 없을 정도로 많은 논문이 LLM과 밀접한 연관이 있다. 연구들을 살펴보면 다음과 같은 분류로 나눠볼 수 있을 것 같다.1. 이미 만들어진 LLM을 잘 써먹고자 하는 부류 (ex: Prompt Engineering)2. LLM을 특정 작업에 특화시키는 방법론에 대해 고민하는 부류 (ex: LLM Tune Method)3. LLM의 뼈대(아키텍처)에 대해 고민하는 부류 (ex: SSM, Mamba, Transformers)4. LLM의 성능최적화에 대해 고민하는 부류 (ex: 1bit-LLM)아마 위의 넷 정도로 나눠서 생각해 볼 수 있을 것이다. (물론 더 많지만) 지금 살펴..

프롬프트 엔지니어링을 위해 흔히 사용하는 LangChain 등의 프레임워크 에서 특정 작업을 위해 사용하는 프롬프트의 크기가 굉장히 크다.특히, trial and error 방식으로 사전에 수작업으로 작성된 프롬프트를 사용하기 때문에 보편적이지만, 성능이나 효율성 측면에서는 최선이 아닐뿐더러, 확장성 측면에서는 한계가 있다.이러한 프롬프트 엔지니어링을 극복하기 위해서 파이썬 스타일로 작성된 선언적이고 스스로 개선되는 기능을 갖춘 자연어 처리 프로그램인 DSPy가 나왔다, 이 프레임워크에서는 LLM 파이프라인이 무엇을 할 것인지를 명확히 선언하면, 내부적으로 스스로 학습하고 최적화하여 성능을 향상시키는 기능이 있다. DSPy는 간단한 API를 통해 빠르게 시작할 수 있지만, AI 시스템을 구현하는 과정은 ..

컴퓨팅 성능의 발전, 초거대 언어 모델의 등장은 Natural Language Processing 분야를 비약적으로 발전시켰다.그리고 이젠 어떻게 이미 만들어진 LLM을 고도화 시킬까의 문제를 마주하고 있다. Chain of Thought 이후 생겨난 수많은 프롬프트들이나Retrieval Augmented Generation 를 이용한 생성이전에 소개한 LangChain이나 LangGraph도 결국 LLM을 효과적으로 사용하기 위한 Tool Chain이다. 오늘 소개할 것은 효과적인 지식 구조이자최근에 만들어지는 RAG를 고도화 하는 새로운 기법인 GraphRAG이다.Knowledge Graph본 내용을 이해하기 위해서는 먼저 Graph에 대해 알아야 할 것이다.물론 너무 깊게 들어갈 수는 없기에, 지식..

[논문]은 Mamba라는 이름의 Non-Attention 기반으로 순차적인 데이터를 추론하는 하나의 알고리듬이다. Mamba: Linear-Time Sequence Modeling with Selective State SpacesFoundation models, now powering most of the exciting applications in deep learning, are almost universally based on the Transformer architecture and its core attention module. Many subquadratic-time architectures such as linear attention, gated convolutionarxiv.org 어쩌다 ..

앤트로픽(Anthropic)에서 클로드를 이용한 Computer-Use Demo를 출시했다. 컴퓨터 유즈는 기존에 LLM을 기반으로 사용자가 원하는 일을 해주는 도구인 LLM Agent을 이용한 서비스이다. 기존의 LLM Agent는 파일 수정, 웹 검색과 같이 특정 태스크 안에서 사용되었다면 컴퓨터 유즈는 가상 머신을 함께 실행해  가상 머신 시스템을 조작하며 실제 컴퓨터의 전체 시스템을 조작할 수 있는 기반을 마련했다. LLM이 사용자가 원하는 것을 입력받아 계획을 세우고 각 계획에 맞는 행위들을 순서대로 처리해 나가는 형식으로 동작하며 각 행위는 Tools라는 도구 형식으로 미리 정의해 Function call의 방식으로 현재 시스템의 상태에 맞는 도구와 파라미터를 출력한다. LLM이 선택한 도구를..

관련 시리즈더보기관련 시리즈 목록2024.11.11 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 1. LangGrpah(랭그래프)를 이용한 AI Workflow 관리하기2024.11.13 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 2. LangGrpah(랭그래프)의 핵심 요소의 개념적 이해2024.11.14 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 3. Chain과 Agent를 이용한 Workflow 구현 - 쿼리 추출 모델2024.11.20 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 4. LangGraph를 이용한 RAG 및 검색 Agent 개발 ..