Github : https://github.com/NVlabs/Sana GitHub - NVlabs/Sana: SANA: Efficient High-Resolution Image Synthesis with Linear Diffusion TransformerSANA: Efficient High-Resolution Image Synthesis with Linear Diffusion Transformer - NVlabs/Sanagithub.com Sana는 엔비디아에서 발표한 4096 × 4096 해상도의 이미지를 효율적으로 생성할 수 있는 텍스트-이미지 프레임워크로 0.6B 및 1.6B 의 작은 파라미터 크기를 가지고 있어 노트북 GPU를 활용하여 배포가 가능하다.  Sana 0.6B 모델의 경우 최대 40..

앤트로픽(Anthropic)에서 클로드를 이용한 Computer-Use Demo를 출시했다. 컴퓨터 유즈는 기존에 LLM을 기반으로 사용자가 원하는 일을 해주는 도구인 LLM Agent을 이용한 서비스이다. 기존의 LLM Agent는 파일 수정, 웹 검색과 같이 특정 태스크 안에서 사용되었다면 컴퓨터 유즈는 가상 머신을 함께 실행해  가상 머신 시스템을 조작하며 실제 컴퓨터의 전체 시스템을 조작할 수 있는 기반을 마련했다. LLM이 사용자가 원하는 것을 입력받아 계획을 세우고 각 계획에 맞는 행위들을 순서대로 처리해 나가는 형식으로 동작하며 각 행위는 Tools라는 도구 형식으로 미리 정의해 Function call의 방식으로 현재 시스템의 상태에 맞는 도구와 파라미터를 출력한다. LLM이 선택한 도구를..

관련 시리즈더보기관련 시리즈 목록2024.11.11 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 1. LangGrpah(랭그래프)를 이용한 AI Workflow 관리하기2024.11.13 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 2. LangGrpah(랭그래프)의 핵심 요소의 개념적 이해2024.11.14 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 3. Chain과 Agent를 이용한 Workflow 구현 - 쿼리 추출 모델2024.11.20 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 4. LangGraph를 이용한 RAG 및 검색 Agent 개발 ..

간단한 poc 를 위해 개발자가 기획, 디자인없이 빠르고 이쁘게 프론트개발하는 방법에 대해서 고민해보았습니다. 어떻게 해야 빠르게 fo 개발할 수 있을까? 1. ai 를 활용 - 인공지능을 활용한 코드 편집기2. css 는 컴포넌트 라이브러리를 사용 - 재사용 가능한 컴포넌트의 모음 숙달되면 개발속도는 크게 상승할 것으로 판단하였습니다. cursor ai1. vs code 를 포크해서 만든 프로젝트개발 친숙vs code 의 extensions 사용가능  2. 프로젝트 단위의 질문도 가능 (RAG)vector db 를 활용한 코드베이스 인덱싱 기능 지원하기 때문사용자가 질문한 내용과 유사성, 관련성이 높은 문서들을 인덱싱하고 사용자 쿼리와 함께 prompt에 함께 답변을 생성  3. 간단한 조작법- ta..

관련 시리즈더보기관련 시리즈 목록2024.11.11 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 1. LangGrpah(랭그래프)를 이용한 AI Workflow 관리하기2024.11.13 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 2. LangGrpah(랭그래프)의 핵심 요소의 개념적 이해2024.11.14 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 3. Chain과 Agent를 이용한 Workflow 구현 - 쿼리 추출 모델 (현재글)2024.11.20 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 4. LangGraph를 이용한 RAG 및 검색 Age..

관련 시리즈더보기관련 시리즈 목록2024.11.11 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 1. LangGrpah(랭그래프)를 이용한 AI Workflow 관리하기2024.11.13 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 2. LangGrpah(랭그래프)의 핵심 요소의 개념적 이해 (현재글)2024.11.14 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 3. Chain과 Agent를 이용한 Workflow 구현 - 쿼리 추출 모델2024.11.20 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 4. LangGraph를 이용한 RAG 및 검색 Age..

관련 시리즈더보기 관련 시리즈 목록2024.11.11 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 1. LangGrpah(랭그래프)를 이용한 AI Workflow 관리하기 (현재글)2024.11.13 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 2. LangGrpah(랭그래프)의 핵심 요소의 개념적 이해2024.11.14 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 3. Chain과 Agent를 이용한 Workflow 구현 - 쿼리 추출 모델2024.11.20 - [A.I.(인공지능) & M.L.(머신러닝)/LLM] - [LangGrpah] 4. LangGraph를 이용한 RAG 및 검색 Ag..

Adapting While Learning: Grounding LLMs for Scientific Problems with Intelligent Tool Usage Adaptation (https://arxiv.org/pdf/2411.00412) 해당 논문에서는 대형 언어 모델(LLM)의 문제 해결 능력을 향상시키기 위한 새로운 접근법을 제안했다. 기존의 LLM은 고등학교 수준의 문제 해결에 한계를 보이며, 전문 도구와의 통합을 통해 복잡한 과학적 문제를 다룰 수 있음이 입증되었다. 그러나 도구 사용에만 의존할 경우 계산 비용 증가와 지식 내재화의 한계가 발생한다는 문제가 지적되었다. 이를 해결하기 위해 연구진은 인간 전문가의 문제 복잡도 평가 방식을 모방한 두 단계의 훈련 패러다임을 도입했다. 첫 번째..

현재 Anthropic, OpenAI, Google 등의 LLM을 만드는 다양한 기업에서 앞다투어 Agent 상용화에 나서고 있다. LLM 기반 Agent는 대형 언어 모델(LLM)을 바탕으로 복합적인 작업을 수행할 수 있는 AI 애플리케이션을 의미하는데, 예를 들어, 챗봇, 기능 호출, RAG 등 다양한 활용 사례가 포함되며, 이러한 AI 챗봇 시장은 앞으로 10년 내에 1조 달러 규모로 성장할 전망이다. 최근 구글, OpenAI, 애플 등이 제시한 AI Agent 시나리오는 향후 고객의 메시지 요약, 일정 자동 등록, 감정에 맞는 음악·영화 추천 등 다양한 기능을 수행하는 지능형 Agent로서의 가능성을 보여주며, 과거의 단순한 규칙 기반 챗봇과 달리, 이제는 사람처럼 업무를 처리하는 AI Agent..

개요내가 여기 입사하기도 전에 AWS EC2 instance에 설치되어있던,그리고 현재 개발용으로 사용중인 Gitlab은 버전 13.10.5이다.2021년 6월 버전이다.고작 3년밖에 안 되었지만 gitlab 생태계에는 고물 버전에 가깝다.최신 버전으로 업데이트 요청사항이 있었다.얼핏 드는 생각은Postgresql 마이그레이션 할 때처럼기존 configuration과 data dump 떠놓고최신 이미지로 docker container 올리고 데이터 이관시키면 된다고 생각했다.그러나 시행착오 끝에 이 방법은 통하지 않는다는 것을 알았다.이 방법은 똑같은 버전으로 다른 곳에 이관시킬 때나 써먹는 방법이다.그 이유는 major 버전 뿐만 아니라 minor 버전도 data 이관시안에 여러가지 복잡한 컴포넌트들(..

Next.js에 remark-breaks plugin 설치개요일반적인 markdown 파일은 줄 바꿈을 어떻게 할까?lorem ␠ ␠ ipsumlorem\ipsum위에는 sp라고 작게 썼지만 일반 공백(스페이스바)이라는 뜻 (공백을 표시할 수가 없으니)단순히 'Enter'를 치면 줄이 안 바뀐다첫번째 방법은 스페이스바 2번 치고 → Enter 누르는 방법두번째 방법은 백슬래시 후 → Enter 누르는 방법이렇게되면 Obsidian에서 편집한 내 글이 git push하는 순간 줄바꿈이 안 된 상태로 브라우저에 rendering 되게 된다.이 문제를 해결하기 위해 remark-breaks 플러그인을 설치한다.그러나 설치하기 전에 왜 이러는 건지 간단히 배경지식을 조사해보자.MarkdownCommonMar..

오픈서치 설치를 공유간단한 예제 설치사이트공식 Sample 설치간단한 예제설치 + entrypoint 에 plugins 설치 추가services: opensearch-node: image: opensearchproject/opensearch:2.14.0 container_name: opensearch-node environment: - discovery.type=single-node - OPENSEARCH_INITIAL_ADMIN_PASSWORD=abcde12345 - bootstrap.memory_lock=true - "OPENSEARCH_JAVA_OPTS=-Xms512m -Xmx512m" # Set min and max JVM heap sizes ..

1. 런웨이 AI 개발자와 조직이 회사의 생성 AI 모델을 타사 플랫폼, 앱 및 서비스에 구축할 수 있도록 하는 API를 처음으로 출시했다. API로 서비스되는 모델은 Gen-3 alpha와 경량 모델인 Gen-3 alpha turbo이다.  현재 API는 제한적으로 공개되어 있으며 아래의 링크를 통해 대기자 명단에 등록할 수 있다 API 대기자 등록 링크 : https://docs.google.com/forms/d/e/1FAIpQLSedGRW6C5G8k4FTZHvB-OvMF1FJ3aqmzNOSCDkVa3XInogkxA/viewform Use our API platform to get access to our latest and most powerful video models inside a safe a..

Next.js에 Nextra library로 만든 개인 블로그 Github Pages에 배포하기1. 어떤 플랫폼을 블로그로 사용할까Medium, WordPress, 네이버, Wix, Notion 여러가지를 고려하다가티스토리 블로그 플랫폼으로 쓴 지 1년 정도 되었다.티스토리의 단점은Folder의 sub-folder를 2단 이상으로 생성하는 기능이 지원이 되지 않는다.TOC(Table of Contents) plugin을 import해서 적용할 수는 있지만default로 제공해주는 않는다.TOC를 반응형으로 구현하기에는 쌩 HTML과 raw CSS 파일을 수정해야하는데 아주 어렵다.→ 그냥 티스토리에서 더 이상 업데이트를 하지 않는 것 같다. (예전에 있던 티스토리API도 발전되기는 커녕 서비스 종료)→ ..

최근 인공지능 분야에서 다양한 LLM(대형 언어 모델) 전문가들의 지식을 통합하는 작업이 중요해지고 있다. 이를 실현하기 위해 설계된 것이 바로 Mergoo다. Mergoo는 다양한 일반 및 도메인 특화 LLM 전문가들의 지식을 신뢰성 있고 투명하게 결합할 수 있는 파이프라인을 제공하며, 이를 통해 LLM 통합 작업을 보다 유연하고 효과적으로 수행할 수 있다. Mergoo는 Mixture-of-Experts(MoE), Mixture-of-Adapters, 그리고 Layer-wise Merging과 같은 다양한 통합 기법을 지원하며, 이를 통해 사용자는 자신이 원하는 방식으로 LLM을 구축할 수 있다. 통합된 모델은 Hugging Face에서 제공하는 SFTrainer, PEFT, Trainer와 같은 도..

중국 지푸 AI와 칭화대학교 연구진이 오픈 소스 텍스트-비디오 모델인 ‘코그비디오X(CogVideoX)’를 Huggingface 및 Arxiv에 공개하였는데 코그비디오X 는 2, 5b 두가지가 공개되었는데, 코그비디오X-5B는 텍스트 프롬프트를 통해 최대 6초 길이 720×480 해상도의 고품질 비디오를 생성할 수 있다고 밝혔다.CogVideoX는 Text-to-video generation을 위한 대규모 diffusion transformer 모델이며, 텍스트 prompt만으로 고품질 비디오를 생성할 수 있다.  Arxiv에 게재되어진 논문에 의하면 다음과 같은 기술을 적용하여 코드비디오X를 학습한 것으로 알려졌다. 1. 기술 방법론 1) 3D Variational Autoencoder (VAE) 활용..

목차[1. 작업배경][2. 이관 전략][3. gitlab 미러링][4. 결론] 1. 작업배경내부에서 개발하고 있던 api 깃프로젝트 소스가 있었는데, 별도의 TF 프로젝트가 발생하였고 이에 따라 깃프로젝트 이중 작업이 불가피하여 TF 프로젝트용으로 api 깃프로젝트를 복제하여 새 구성을 하였습니다. 하여 내부적으로 api 깃프로젝트와 tf api 깃프로젝트가 생겨난 상황이었는데. api 깃프로젝트에서 진행된 내용이 tf api 깃프로젝트로 옮겨져야 하는 상황이 생겼습니다.이에 기존의 api 깃프로젝트를 A프로젝트로 가칭, tf api 깃프로젝트를 B프로젝트라고 가칭하여 브랜치를 이관하여 병합 관리하는 단계를 작성해보았습니다. 대상 프로젝트A 프로젝트 release 브랜치B 프로젝트 main 브랜치2. 이..

LLM은 파라미터의 개수가 많으면 많을수록 뛰어난 성능을 가진다는 것을 여러 연구를 통해 증명함에 따라, LLM을 개발하는 Meta, Google, OpenAI 등의 기업들은 경쟁적으로 더 큰 모델을 출시하고 있다. 그러나, 모델이 커짐에 따라 이를 학습시키고 서빙하기 위한 컴퓨팅 자원 비용 역시 같이 증가하고 있다. 이런 상황에서 더 거대한 LLM을 더 적은 비용으로 학습하고, 서빙하기 위해서 나온 기술이 바로 Mixture of Experts 즉 MoE이다.MoE를 채택한 모델은 대표적으로 Mistral AI의 Mixtral-8x7B가 있다. OpenAI의 GPT도 MoE 구조를 사용한다고 추측되지만, 정확한 구조는 공개되지 않았다. 이러한 MoE 모델들은 전체 파라미터 중 일부만을 사용하여 효율적으..

그래프는 노드와 간선으로 구성됨.  import torchfrom torch_geometric.data import Dataedge_index = torch.tensor([[0, 1, 1, 2], [1, 0, 2, 1]], dtype=torch.long)x = torch.tensor([[-1], [0], [1]], dtype=torch.float)data = Data(x=x, edge_index=edge_index) edge_index각 열은 하나의 엣지를 나타내며, 첫 번째 행은 엣지의 출발 노드두 번째 행은 엣지의 도착 노드를 나타냄 노드 0에서 노드 1로 엣지노드 1에서 노드 0으로 엣지(양방향)노드 1에서 노드 2로 엣지노드 2에서 노드 1로 엣지 (양방향) 두 배열을 좌 우로 보면 무슨말인지 알..

참고 논문 리딩ETF 가격 방향성 예측을 위한 그래프 구조 학습 기반 신경망 -조현수, 김진기, 김태훈, 신기정 1. ETF를 선택한 이유개별 종목은 위험도 높아서  2. 시계열 기반 모델의 한계점서로 다른 종목들의 연관 관계를 반영하지 못함(ETF는 추정 지수에 포함된 다양한 구성 종목에 대한 정보를 내포) 그래서 그래프 구조 학습 방법론 으로 각 ETF를 정점(node) 으로 가지는 그래프를 추론 추론된 그래프와 시계열 모델로부터 얻은 ETF 임베딩을 입력으로 그래프 신경망을 수행그래서 단순한 시계열 모델로는 포착하기 어려운 종목 간의 상호 의존성을 파악가능최종적으로 상승, 보합, 하락 확률을 예측함 포트폴리오 전체의 움직임을 예측하는데 유용  3. 모델ARIMAExponential Smoothing..