기존 Prophet의 문제점기존의 Prophet은 데이터의 비선형적인 요소 및 연속함수의 특징들을 반영하거나시계열 데이터의 패턴 변동성이 큰 부분을 반영하기엔 부족한 패키지였다. 그래서 메타는 기존 Prophet 모델에 신경망을 추가하여 시계열 분석을 할 수 있도록 만든 것이 Neural Prophet이다. Prophet은 시계열 예측 성능보다는 손쉬운 사용 예측 결과에 해석에 초점을 맞춘 알고리즘이다.추세, 주기성, 공휴일 효과 등을 분리해서 제공해주기 때문에, 수요예측과 같은 비즈니스적인 시사점이 필요할 때 유용하게 활용될 수 있다. Prophet은 주로 전체 데이터의 글로벌 패턴에 초점을 맞추는 알고리즘으로 설계되었다.그래서 단기 시점(Local Context) 예측에 한계를 가지고 있다. 예를 들..

세세하게 살펴보기엔 알아야 할 지식들이 많으니 간단하게만 살펴보자.Microsoft에서 발표하였으며, 2023년 ICLR에 Accept 된 [논문]이다. 논문에서도 3장에서 딱 두 가지의 차별점만 언급한다. 1. DISENTANGLED ATTENTION 2. ENHANCED MASK DECODER  간단하게 살펴보자DISENTANGLED ATTENTION이런 짓거리를 왜 하는지를 이해하려면 Transformer의 구조적 이해가 필수적이다.사실 Transformer에서도 충분한 고려를 진행하고 있지만, 부족했나보다. 핵심은 Position이다. Transformer의 장점이 무엇인가.기존 RNN에서 순차적으로 처리되던 정보를, Matrix형태로 표현할 수 있게 되었다. 그런데 Matrix의 개별 Row는 ..

이젠 진짜 LLM의 시대가 도래하였다.아키텍처 중심의 발전이 대부분이였던 자연어 처리 관련 논문들에서도LLM을 고려하지 않는 논문이 없을 정도로 많은 논문이 LLM과 밀접한 연관이 있다. 연구들을 살펴보면 다음과 같은 분류로 나눠볼 수 있을 것 같다.1. 이미 만들어진 LLM을 잘 써먹고자 하는 부류 (ex: Prompt Engineering)2. LLM을 특정 작업에 특화시키는 방법론에 대해 고민하는 부류 (ex: LLM Tune Method)3. LLM의 뼈대(아키텍처)에 대해 고민하는 부류 (ex: SSM, Mamba, Transformers)4. LLM의 성능최적화에 대해 고민하는 부류 (ex: 1bit-LLM)아마 위의 넷 정도로 나눠서 생각해 볼 수 있을 것이다. (물론 더 많지만) 지금 살펴..

프롬프트 엔지니어링을 위해 흔히 사용하는 LangChain 등의 프레임워크 에서 특정 작업을 위해 사용하는 프롬프트의 크기가 굉장히 크다.특히, trial and error 방식으로 사전에 수작업으로 작성된 프롬프트를 사용하기 때문에 보편적이지만, 성능이나 효율성 측면에서는 최선이 아닐뿐더러, 확장성 측면에서는 한계가 있다.이러한 프롬프트 엔지니어링을 극복하기 위해서 파이썬 스타일로 작성된 선언적이고 스스로 개선되는 기능을 갖춘 자연어 처리 프로그램인 DSPy가 나왔다, 이 프레임워크에서는 LLM 파이프라인이 무엇을 할 것인지를 명확히 선언하면, 내부적으로 스스로 학습하고 최적화하여 성능을 향상시키는 기능이 있다. DSPy는 간단한 API를 통해 빠르게 시작할 수 있지만, AI 시스템을 구현하는 과정은 ..

컴퓨팅 성능의 발전, 초거대 언어 모델의 등장은 Natural Language Processing 분야를 비약적으로 발전시켰다.그리고 이젠 어떻게 이미 만들어진 LLM을 고도화 시킬까의 문제를 마주하고 있다. Chain of Thought 이후 생겨난 수많은 프롬프트들이나Retrieval Augmented Generation 를 이용한 생성이전에 소개한 LangChain이나 LangGraph도 결국 LLM을 효과적으로 사용하기 위한 Tool Chain이다. 오늘 소개할 것은 효과적인 지식 구조이자최근에 만들어지는 RAG를 고도화 하는 새로운 기법인 GraphRAG이다.Knowledge Graph본 내용을 이해하기 위해서는 먼저 Graph에 대해 알아야 할 것이다.물론 너무 깊게 들어갈 수는 없기에, 지식..

[논문]은 Mamba라는 이름의 Non-Attention 기반으로 순차적인 데이터를 추론하는 하나의 알고리듬이다. Mamba: Linear-Time Sequence Modeling with Selective State SpacesFoundation models, now powering most of the exciting applications in deep learning, are almost universally based on the Transformer architecture and its core attention module. Many subquadratic-time architectures such as linear attention, gated convolutionarxiv.org 어쩌다 ..

Github : https://github.com/NVlabs/Sana GitHub - NVlabs/Sana: SANA: Efficient High-Resolution Image Synthesis with Linear Diffusion TransformerSANA: Efficient High-Resolution Image Synthesis with Linear Diffusion Transformer - NVlabs/Sanagithub.com Sana는 엔비디아에서 발표한 4096 × 4096 해상도의 이미지를 효율적으로 생성할 수 있는 텍스트-이미지 프레임워크로 0.6B 및 1.6B 의 작은 파라미터 크기를 가지고 있어 노트북 GPU를 활용하여 배포가 가능하다.  Sana 0.6B 모델의 경우 최대 40..

앤트로픽(Anthropic)에서 클로드를 이용한 Computer-Use Demo를 출시했다. 컴퓨터 유즈는 기존에 LLM을 기반으로 사용자가 원하는 일을 해주는 도구인 LLM Agent을 이용한 서비스이다. 기존의 LLM Agent는 파일 수정, 웹 검색과 같이 특정 태스크 안에서 사용되었다면 컴퓨터 유즈는 가상 머신을 함께 실행해  가상 머신 시스템을 조작하며 실제 컴퓨터의 전체 시스템을 조작할 수 있는 기반을 마련했다. LLM이 사용자가 원하는 것을 입력받아 계획을 세우고 각 계획에 맞는 행위들을 순서대로 처리해 나가는 형식으로 동작하며 각 행위는 Tools라는 도구 형식으로 미리 정의해 Function call의 방식으로 현재 시스템의 상태에 맞는 도구와 파라미터를 출력한다. LLM이 선택한 도구를..

관련 시리즈더보기관련 시리즈 목록2024.11.11 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 1. LangGrpah(랭그래프)를 이용한 AI Workflow 관리하기2024.11.13 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 2. LangGrpah(랭그래프)의 핵심 요소의 개념적 이해2024.11.14 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 3. Chain과 Agent를 이용한 Workflow 구현 - 쿼리 추출 모델2024.11.20 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 4. LangGraph를 이용한 RAG 및 검색 Agent 개발 ..

간단한 poc 를 위해 개발자가 기획, 디자인없이 빠르고 이쁘게 프론트개발하는 방법에 대해서 고민해보았습니다. 어떻게 해야 빠르게 fo 개발할 수 있을까? 1. ai 를 활용 - 인공지능을 활용한 코드 편집기2. css 는 컴포넌트 라이브러리를 사용 - 재사용 가능한 컴포넌트의 모음 숙달되면 개발속도는 크게 상승할 것으로 판단하였습니다. cursor ai1. vs code 를 포크해서 만든 프로젝트개발 친숙vs code 의 extensions 사용가능  2. 프로젝트 단위의 질문도 가능 (RAG)vector db 를 활용한 코드베이스 인덱싱 기능 지원하기 때문사용자가 질문한 내용과 유사성, 관련성이 높은 문서들을 인덱싱하고 사용자 쿼리와 함께 prompt에 함께 답변을 생성  3. 간단한 조작법- ta..

관련 시리즈더보기관련 시리즈 목록2024.11.11 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 1. LangGrpah(랭그래프)를 이용한 AI Workflow 관리하기2024.11.13 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 2. LangGrpah(랭그래프)의 핵심 요소의 개념적 이해2024.11.14 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 3. Chain과 Agent를 이용한 Workflow 구현 - 쿼리 추출 모델 (현재글)2024.11.20 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 4. LangGraph를 이용한 RAG 및 검색 Age..

관련 시리즈더보기관련 시리즈 목록2024.11.11 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 1. LangGrpah(랭그래프)를 이용한 AI Workflow 관리하기2024.11.13 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 2. LangGrpah(랭그래프)의 핵심 요소의 개념적 이해 (현재글)2024.11.14 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 3. Chain과 Agent를 이용한 Workflow 구현 - 쿼리 추출 모델2024.11.20 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 4. LangGraph를 이용한 RAG 및 검색 Age..

관련 시리즈더보기 관련 시리즈 목록2024.11.11 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 1. LangGrpah(랭그래프)를 이용한 AI Workflow 관리하기 (현재글)2024.11.13 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 2. LangGrpah(랭그래프)의 핵심 요소의 개념적 이해2024.11.14 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 3. Chain과 Agent를 이용한 Workflow 구현 - 쿼리 추출 모델2024.11.20 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 4. LangGraph를 이용한 RAG 및 검색 Ag..

Adapting While Learning: Grounding LLMs for Scientific Problems with Intelligent Tool Usage Adaptation (https://arxiv.org/pdf/2411.00412) 해당 논문에서는 대형 언어 모델(LLM)의 문제 해결 능력을 향상시키기 위한 새로운 접근법을 제안했다. 기존의 LLM은 고등학교 수준의 문제 해결에 한계를 보이며, 전문 도구와의 통합을 통해 복잡한 과학적 문제를 다룰 수 있음이 입증되었다. 그러나 도구 사용에만 의존할 경우 계산 비용 증가와 지식 내재화의 한계가 발생한다는 문제가 지적되었다. 이를 해결하기 위해 연구진은 인간 전문가의 문제 복잡도 평가 방식을 모방한 두 단계의 훈련 패러다임을 도입했다. 첫 번째..

현재 Anthropic, OpenAI, Google 등의 LLM을 만드는 다양한 기업에서 앞다투어 Agent 상용화에 나서고 있다. LLM 기반 Agent는 대형 언어 모델(LLM)을 바탕으로 복합적인 작업을 수행할 수 있는 AI 애플리케이션을 의미하는데, 예를 들어, 챗봇, 기능 호출, RAG 등 다양한 활용 사례가 포함되며, 이러한 AI 챗봇 시장은 앞으로 10년 내에 1조 달러 규모로 성장할 전망이다. 최근 구글, OpenAI, 애플 등이 제시한 AI Agent 시나리오는 향후 고객의 메시지 요약, 일정 자동 등록, 감정에 맞는 음악·영화 추천 등 다양한 기능을 수행하는 지능형 Agent로서의 가능성을 보여주며, 과거의 단순한 규칙 기반 챗봇과 달리, 이제는 사람처럼 업무를 처리하는 AI Agent..

개요내가 여기 입사하기도 전에 AWS EC2 instance에 설치되어있던,그리고 현재 개발용으로 사용중인 Gitlab은 버전 13.10.5이다.2021년 6월 버전이다.고작 3년밖에 안 되었지만 gitlab 생태계에는 고물 버전에 가깝다.최신 버전으로 업데이트 요청사항이 있었다.얼핏 드는 생각은Postgresql 마이그레이션 할 때처럼기존 configuration과 data dump 떠놓고최신 이미지로 docker container 올리고 데이터 이관시키면 된다고 생각했다.그러나 시행착오 끝에 이 방법은 통하지 않는다는 것을 알았다.이 방법은 똑같은 버전으로 다른 곳에 이관시킬 때나 써먹는 방법이다.그 이유는 major 버전 뿐만 아니라 minor 버전도 data 이관시안에 여러가지 복잡한 컴포넌트들(..

Next.js에 remark-breaks plugin 설치개요일반적인 markdown 파일은 줄 바꿈을 어떻게 할까?lorem ␠ ␠ ipsumlorem\ipsum위에는 sp라고 작게 썼지만 일반 공백(스페이스바)이라는 뜻 (공백을 표시할 수가 없으니)단순히 'Enter'를 치면 줄이 안 바뀐다첫번째 방법은 스페이스바 2번 치고 → Enter 누르는 방법두번째 방법은 백슬래시 후 → Enter 누르는 방법이렇게되면 Obsidian에서 편집한 내 글이 git push하는 순간 줄바꿈이 안 된 상태로 브라우저에 rendering 되게 된다.이 문제를 해결하기 위해 remark-breaks 플러그인을 설치한다.그러나 설치하기 전에 왜 이러는 건지 간단히 배경지식을 조사해보자.MarkdownCommonMar..

오픈서치 설치를 공유간단한 예제 설치사이트공식 Sample 설치간단한 예제설치 + entrypoint 에 plugins 설치 추가services: opensearch-node: image: opensearchproject/opensearch:2.14.0 container_name: opensearch-node environment: - discovery.type=single-node - OPENSEARCH_INITIAL_ADMIN_PASSWORD=abcde12345 - bootstrap.memory_lock=true - "OPENSEARCH_JAVA_OPTS=-Xms512m -Xmx512m" # Set min and max JVM heap sizes ..

1. 런웨이 AI 개발자와 조직이 회사의 생성 AI 모델을 타사 플랫폼, 앱 및 서비스에 구축할 수 있도록 하는 API를 처음으로 출시했다. API로 서비스되는 모델은 Gen-3 alpha와 경량 모델인 Gen-3 alpha turbo이다.  현재 API는 제한적으로 공개되어 있으며 아래의 링크를 통해 대기자 명단에 등록할 수 있다 API 대기자 등록 링크 : https://docs.google.com/forms/d/e/1FAIpQLSedGRW6C5G8k4FTZHvB-OvMF1FJ3aqmzNOSCDkVa3XInogkxA/viewform Use our API platform to get access to our latest and most powerful video models inside a safe a..

Next.js에 Nextra library로 만든 개인 블로그 Github Pages에 배포하기1. 어떤 플랫폼을 블로그로 사용할까Medium, WordPress, 네이버, Wix, Notion 여러가지를 고려하다가티스토리 블로그 플랫폼으로 쓴 지 1년 정도 되었다.티스토리의 단점은Folder의 sub-folder를 2단 이상으로 생성하는 기능이 지원이 되지 않는다.TOC(Table of Contents) plugin을 import해서 적용할 수는 있지만default로 제공해주는 않는다.TOC를 반응형으로 구현하기에는 쌩 HTML과 raw CSS 파일을 수정해야하는데 아주 어렵다.→ 그냥 티스토리에서 더 이상 업데이트를 하지 않는 것 같다. (예전에 있던 티스토리API도 발전되기는 커녕 서비스 종료)→ ..