최근 인공지능 분야에서 다양한 LLM(대형 언어 모델) 전문가들의 지식을 통합하는 작업이 중요해지고 있다. 이를 실현하기 위해 설계된 것이 바로 Mergoo다. Mergoo는 다양한 일반 및 도메인 특화 LLM 전문가들의 지식을 신뢰성 있고 투명하게 결합할 수 있는 파이프라인을 제공하며, 이를 통해 LLM 통합 작업을 보다 유연하고 효과적으로 수행할 수 있다. Mergoo는 Mixture-of-Experts(MoE), Mixture-of-Adapters, 그리고 Layer-wise Merging과 같은 다양한 통합 기법을 지원하며, 이를 통해 사용자는 자신이 원하는 방식으로 LLM을 구축할 수 있다. 통합된 모델은 Hugging Face에서 제공하는 SFTrainer, PEFT, Trainer와 같은 도..

중국 지푸 AI와 칭화대학교 연구진이 오픈 소스 텍스트-비디오 모델인 ‘코그비디오X(CogVideoX)’를 Huggingface 및 Arxiv에 공개하였는데 코그비디오X 는 2, 5b 두가지가 공개되었는데, 코그비디오X-5B는 텍스트 프롬프트를 통해 최대 6초 길이 720×480 해상도의 고품질 비디오를 생성할 수 있다고 밝혔다.CogVideoX는 Text-to-video generation을 위한 대규모 diffusion transformer 모델이며, 텍스트 prompt만으로 고품질 비디오를 생성할 수 있다.  Arxiv에 게재되어진 논문에 의하면 다음과 같은 기술을 적용하여 코드비디오X를 학습한 것으로 알려졌다. 1. 기술 방법론 1) 3D Variational Autoencoder (VAE) 활용..

목차[1. 작업배경][2. 이관 전략][3. gitlab 미러링][4. 결론] 1. 작업배경내부에서 개발하고 있던 api 깃프로젝트 소스가 있었는데, 별도의 TF 프로젝트가 발생하였고 이에 따라 깃프로젝트 이중 작업이 불가피하여 TF 프로젝트용으로 api 깃프로젝트를 복제하여 새 구성을 하였습니다. 하여 내부적으로 api 깃프로젝트와 tf api 깃프로젝트가 생겨난 상황이었는데. api 깃프로젝트에서 진행된 내용이 tf api 깃프로젝트로 옮겨져야 하는 상황이 생겼습니다.이에 기존의 api 깃프로젝트를 A프로젝트로 가칭, tf api 깃프로젝트를 B프로젝트라고 가칭하여 브랜치를 이관하여 병합 관리하는 단계를 작성해보았습니다. 대상 프로젝트A 프로젝트 release 브랜치B 프로젝트 main 브랜치2. 이..

LLM은 파라미터의 개수가 많으면 많을수록 뛰어난 성능을 가진다는 것을 여러 연구를 통해 증명함에 따라, LLM을 개발하는 Meta, Google, OpenAI 등의 기업들은 경쟁적으로 더 큰 모델을 출시하고 있다. 그러나, 모델이 커짐에 따라 이를 학습시키고 서빙하기 위한 컴퓨팅 자원 비용 역시 같이 증가하고 있다. 이런 상황에서 더 거대한 LLM을 더 적은 비용으로 학습하고, 서빙하기 위해서 나온 기술이 바로 Mixture of Experts 즉 MoE이다.MoE를 채택한 모델은 대표적으로 Mistral AI의 Mixtral-8x7B가 있다. OpenAI의 GPT도 MoE 구조를 사용한다고 추측되지만, 정확한 구조는 공개되지 않았다. 이러한 MoE 모델들은 전체 파라미터 중 일부만을 사용하여 효율적으..

그래프는 노드와 간선으로 구성됨.  import torchfrom torch_geometric.data import Dataedge_index = torch.tensor([[0, 1, 1, 2], [1, 0, 2, 1]], dtype=torch.long)x = torch.tensor([[-1], [0], [1]], dtype=torch.float)data = Data(x=x, edge_index=edge_index) edge_index각 열은 하나의 엣지를 나타내며, 첫 번째 행은 엣지의 출발 노드두 번째 행은 엣지의 도착 노드를 나타냄 노드 0에서 노드 1로 엣지노드 1에서 노드 0으로 엣지(양방향)노드 1에서 노드 2로 엣지노드 2에서 노드 1로 엣지 (양방향) 두 배열을 좌 우로 보면 무슨말인지 알..

참고 논문 리딩ETF 가격 방향성 예측을 위한 그래프 구조 학습 기반 신경망 -조현수, 김진기, 김태훈, 신기정 1. ETF를 선택한 이유개별 종목은 위험도 높아서  2. 시계열 기반 모델의 한계점서로 다른 종목들의 연관 관계를 반영하지 못함(ETF는 추정 지수에 포함된 다양한 구성 종목에 대한 정보를 내포) 그래서 그래프 구조 학습 방법론 으로 각 ETF를 정점(node) 으로 가지는 그래프를 추론 추론된 그래프와 시계열 모델로부터 얻은 ETF 임베딩을 입력으로 그래프 신경망을 수행그래서 단순한 시계열 모델로는 포착하기 어려운 종목 간의 상호 의존성을 파악가능최종적으로 상승, 보합, 하락 확률을 예측함 포트폴리오 전체의 움직임을 예측하는데 유용  3. 모델ARIMAExponential Smoothing..

LG AI Research에서 처음으로 공개한 오픈소스 LLM인 EXAONE(EXpert AI for EveryONE)3.0- 7.8B instruction tuned model이 공개되었다. 해당 모델을 공개하면서, 비슷한 크기의 오픈소스 모델보다 벤치마크 데이터 세트를 비롯해 여러 성능 평가에서 뛰어난 성능을 기록했다고 밝혔다.  1) 모델의 구조 EXA3.0은 최근 출시되고 있는 오픈소스 LLM인 Meta의 LLAMA-3.1(128k), mistral의 mistral-7B(32k)등과 비교했을 때 최대 컨택스트 길이는 상대적으로 작은 4k이다. 또한 최근 많은 LLM이 사용하는 구조를 차용하여 디코더 트랜스포머 구조를 활용하였고 Rotary Position Embedding(ROPE) 과 Group..

바이두에서 발표한 '자기 추론을 통한 검색 증가 언어모델의 향상(Improving Retrieval Augmented Language Model with Self-Reasoning)'이라는 논문이 아카이브에 게재되었다.LLM의 성능을 개선하기 위해서 도입된 RAG(Retrieval-Augmented Generation)의 경우, 대규모 언어 모델의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 지식 베이스를 참조하도록 하는 프로세스인데 이 과정에서 LLM에 주어진 쿼리와 연관된 지식이 지식 베이스에 없거나, 찾는 과정에서 잘못된 지식을 찾을 경우 응답을 생성하는 과정에서 환각 현상이 발생할 가능성이 크다. 해당 논문에서는 이러한 환각 현상을 줄이는 것을 목표로 'LLM ..

현재 LLM을 활용하는 방법은 주로 RAG를 기반으로 하는 Single Agent Architecture를 활용한다. 여기서 Agent란 LLM을 통상적으로 LLM을 하나의 지성체로 보고 스스로의 기억(Memory)를 기반으로 계획하고, 행동하고, 도구(Tools)를 사용하며 능동적으로 문제를 해결하는 하나의 존재 단위를 의미한다.  여행사에서 고객의 질문에 자동으로 답변하기 위해 FAQ를 바탕으로 Single Agent Architecture를 구축한다고 할 때Single Agent Architecture를 통해 Agent는 사용자 질문에 대해 아래 단계를 거쳐 답변을 생성합니다.사용자 질의를 분석하여 카테고리와 질문을 추출하고FAQ 데이터가 저장된 Vector Store에서 사용자 질문과 비슷한 QA..

Better & Faster Large Language Models via Multi-token Prediction30 Apr 2024 https://arxiv.org/abs/2404.19737 Better & Faster Large Language Models via Multi-token PredictionLarge language models such as GPT and Llama are trained with a next-token prediction loss. In this work, we suggest that training language models to predict multiple future tokens at once results in higher sample efficiency. ..

Topic. 임베딩에 대해 알아봅니다.* 임베딩이란?임베딩(Embedding)은 텍스트 데이터를 수치 벡터로 변환하는 과정입니다. BERT 모델에서는 토큰 임베딩, 세그먼트 임베딩, 위치 임베딩의 세 가지 임베딩이 결합되어 최종 입력 임베딩을 만듭니다. BERT의 임베딩 과정을 단계별로 설명하겠습니다.1. 토큰 임베딩(Token Embedding)토큰 임베딩은 각 단어(또는 토큰)를 고정된 길이의 벡터로 변환하는 과정입니다. BERT는 WordPiece 토크나이저를 사용하여 단어를 더 작은 조각으로 나누기도 합니다.예를 들어, 문장 "I love you"는 "[CLS] I love you [SEP]"로 변환됩니다.각 토큰은 미리 학습된 임베딩 벡터로 변환됩니다. 임베딩 벡터에 대한 설명은 맨 아래쪽에서 ..

Topic. RAG 에 대해 알아봅니다.1. RAG 란?* 사전적 의미와 프로세스RAG(Retrieval-Augmented Generation)는 대규모 언어 모델의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 지식 베이스를 참조하도록 하는 프로세스입니다. 프로세스 내에서는 의도분류, 데이터 정합성판단, 환각현상 판단, 답변생성의 과정도 포함되어있습니다.1-2. 종류1-2-1. Adaptive RAGAdaptive RAG 는 사용자의 질문이 사용자가 가지고있는 데이터베이스의 정보와 연관성을 판단하여 검색어를 확장합니다. 연관성이 없을경우 검색엔진을 활용한 응답으로 넘어갑니다. 이는 검색엔진 뿐만 아니라 추가적인 데이터 수집 방법을 활용할 수 있습니다.1-2-2. Cor..

Let's Encrypt Let's Encrypt를 사용하여 와일드카드 SSL 인증서를 생성해서 여러 하위 도메인에 대해 하나의 인증서를 사용할 수 있는 방법을 알아보겠습니다. 와일드카드 인증서를 사용하면 도메인의 여러 서브도메인에 대해 인증을 제공하므로 관리가 용이하고 유연성을 얻을 수 있습니다. 아래는 와일드카드 SSL 인증서를 생성하는 데 필요한 과정에대한 설명 입니다. 와일드 카드 인증서 및 DNS-01 챌린지 쉽게 이해하기와일드 카드 인증서DNS-01 챌린지Certbot 1. 와일드 카드 인증서와일드카드 인증서는 하나의 인증서로 여러 서브도메인을 보호할 수 있는 SSL 인증서입니다. 예를 들어, x2bee.com 도메인의 와일드카드 인증서를 생성하면 다음과 같은 서브도메인에서 사용 할 수 있습니..

- 온프레미스(On-premise)On-premis는 기업이 자체적으로 서버와 관련 인프라를 보유하고 직접 관리 및 운영하는 방식을 의미합니다. 이의 가장 큰 특징적 의미는 클라우드 컴퓨팅과의 대비되는 개념이라는 것 입니다. 클라우드 컴퓨팅 이전에는 기업이 자체적으로 모든 IT 인프라를 구축하고 관리했습니다. 이러한 전통적인 방식에서 기업이 데이터 센터나 사무실에 물리적인 서버와 네트워크 장비를 구매하고 설치해 관리해야 했습니다. 그렇기에 몇가지 큰 특징이 있었습니다. '자체 데이터 센터 운영', '고정 서버 비용', '한정된 유연성' 등의 특징이 있었습니다. 이러한 단점 속에서 클라우드 컴퓨팅이 등장하였고, 전통적인 방식과 비교되는 장점을 제공하게 되었습니다.- 클라우드 컴퓨팅먼저 클라우드 컴퓨팅은 인..

[python] 원하는 이미지 데이터셋을 만들고싶은데, 귀찮을 때이미지 데이터셋을 만들려면 직접 웹에서 다운받고 이름 매핑하고 폴도 구조 관리하고 여간 귀찮은 일이 아닐 수 없다..그래서 파이썬 라이브러리에서 이미지 검색쪽을 찾아보니 괜찮은 것이x2bee.tistory.com이 글에 이어지는 내용이다.  원하는 카테고리별로 이미지를 빙에서 가져와서 로컬로 저장하는 로직까지 설명되어있는 글이다. 이제는 검색엔진에 상품 데이터를 저장하는 로직을 추가하려고한다. 여기서 핵심은 이미지를 벡터 임베딩을 해서 저장하는 것이다. 향후 이 벡터값으로 이미지 검색을 했을 때 유사성이 높은 이미지가 검색되도록 하기 위한 것이다. 짧게 설명하자면 검색하고자 하는 이미지 검색 -> 임베딩--------------유사도 계산-..

Vector Store의 역할Vector Store는 검색과 정보 검색 시스템에서 중요한 역할을 합니다.데이터를 벡터 형태로 변환하여 저장하고, 이를 기반으로 효율적으로 검색할 수 있게 한다.  Vector Store의 활용처유사도검색 (Similarity Search)추천시스템 (Recommendation Systems)자연어 처리(Natural Language Processing) 등등.. 효율적인 Vector Embedding 저장과 검색기존의 데이터베이스 시스템도 embedding을 저장하고 검색할 수 있지만, 모든 데이터의 embedding과 쿼리 embedding의 유사도를 계산해야 하므로 많은 연산이 필요하고, 결과를 가져오는 속도가 느리다. 반면, Vector DB는 자체적인 알고리즘을 사..

이미지 데이터셋을 만들려면 직접 웹에서 다운받고 이름 매핑하고 폴도 구조 관리하고 여간 귀찮은 일이 아닐 수 없다..그래서 파이썬 라이브러리에서 이미지 검색쪽을 찾아보니 괜찮은 것이 있어, 공유하고자 한다.  bing_image_donloader  라이브러리이다. 이 라이브러리는 bing 이미지 검색 엔진에서 이미지를 손쉽게 다운로드할 수 있는 라이브러리이다. 특정 키워드만 있으면 원하는 이미지를 다운받을 수 있다. 키워드는 카테고리라고 생각하면된다. - 파라미터 keyword: 검색할 키워드.limit: 다운로드할 이미지의 최대 개수.output_dir: 이미지를 저장할 디렉토리 경로.adult_filter_off: 성인 콘텐츠 필터 설정 (True: 필터 사용, False: 필터 사용 안 함).for..

"오늘의집" 은 커머스와 콘텐츠를 결합한 독특한 서비스로,방대한 이미지 데이터를 활요하여 분석 및 추천 서비스를 제공한다. 그 중에서도 이미지 유사도를 이용한 콘텐츠 추천과 상품 추천 서비스를 제공한다.이번 포스팅에서는 오늘의 집의 '이미지 유사도' 모델을 개발한 과정을 소개해보려고 한다. 비슷한 공간..목표 : 주어진 인테리어 이미지와 유사한 다른 이미지 검색 두 가지의 서비스 - 유저가 선택한 사진과 비슷한 스타일의 콘텐츠를 추천해주는 '비슷한 공간' 서비스- 유저가 선택한 비슷한 형태의 또 다른 제품을 소개해주는 서비스 이 두 개의 서비스는 유저가 클릭한 인테리어와 상품과 비슷한 이미지를 찾아줌으로써 더 많은 탐색을 할 수 있도록 돕는다. "오늘의집" 에서 잡은 해당 두 기능의 목표1. 정성적으로 ..

데이터는 초거대언어모델(LLM)과 생성형 AI를 움직이는 원유다다량의 데이터는 생성형 AI와 초거대언어 모델(LLM)을 포함한 최신 인공지능 모델의 성능 최적화에 있어 결정적인 변수이다. 그러나 단순한 데이터의 양의 증가만으로는 인공지능 모델의 최적화를 달성하기는 어렵다. 우리는 데이터의 양만큼이나 질이 중요하다는 점을 간과해서는 안된다.   Garbage in, garbage out 품질이 저하된 데이터는 그 규모가 어마어마하더라도 원하는 성과를 가져오기 어렵다.그렇다면 풀질 높은 데이터란 어떠한 특징을 갖추고 있어야 하는가? 일관성 있는 데이터여기서 ‘일관성 있는 데이터는 통일된 표현법과 단위를 갖는 데이터를 의미하며, 이를 통해 유의미한 통찰력을 얻을 수 있다는 말이다.그 외에도, 중복이 없는 독창..

Topic. 출처 : 원문 1. DP (Data Parallel) 각 GPU 에 서로 다른 데이터 분산처리방식 import torch.nn as nn model = nn.DataParallel(model) model 을 pytorch의 nn 라이브러리의 DataParallel 클래스로 감싸준다. - GPU1, GPU2, GPU3, GPU4 에서 GPU1이 메인 GPU라면 GPU1에 과부하가 발생 2. DDP (Distributed Data Parallel) 멀티쓰레딩, sampler 활용한 데이터 분산처리방식 from torch.nn.parallel import DistributedDataParallel as DDP model = DDP(model, device_ids=[rank]) multithread..