LG AI Research에서 처음으로 공개한 오픈소스 LLM인 EXAONE(EXpert AI for EveryONE)3.0- 7.8B instruction tuned model이 공개되었다. 해당 모델을 공개하면서, 비슷한 크기의 오픈소스 모델보다 벤치마크 데이터 세트를 비롯해 여러 성능 평가에서 뛰어난 성능을 기록했다고 밝혔다.  1) 모델의 구조 EXA3.0은 최근 출시되고 있는 오픈소스 LLM인 Meta의 LLAMA-3.1(128k), mistral의 mistral-7B(32k)등과 비교했을 때 최대 컨택스트 길이는 상대적으로 작은 4k이다. 또한 최근 많은 LLM이 사용하는 구조를 차용하여 디코더 트랜스포머 구조를 활용하였고 Rotary Position Embedding(ROPE) 과 Group..

바이두에서 발표한 '자기 추론을 통한 검색 증가 언어모델의 향상(Improving Retrieval Augmented Language Model with Self-Reasoning)'이라는 논문이 아카이브에 게재되었다.LLM의 성능을 개선하기 위해서 도입된 RAG(Retrieval-Augmented Generation)의 경우, 대규모 언어 모델의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 지식 베이스를 참조하도록 하는 프로세스인데 이 과정에서 LLM에 주어진 쿼리와 연관된 지식이 지식 베이스에 없거나, 찾는 과정에서 잘못된 지식을 찾을 경우 응답을 생성하는 과정에서 환각 현상이 발생할 가능성이 크다. 해당 논문에서는 이러한 환각 현상을 줄이는 것을 목표로 'LLM ..

현재 LLM을 활용하는 방법은 주로 RAG를 기반으로 하는 Single Agent Architecture를 활용한다. 여기서 Agent란 LLM을 통상적으로 LLM을 하나의 지성체로 보고 스스로의 기억(Memory)를 기반으로 계획하고, 행동하고, 도구(Tools)를 사용하며 능동적으로 문제를 해결하는 하나의 존재 단위를 의미한다.  여행사에서 고객의 질문에 자동으로 답변하기 위해 FAQ를 바탕으로 Single Agent Architecture를 구축한다고 할 때Single Agent Architecture를 통해 Agent는 사용자 질문에 대해 아래 단계를 거쳐 답변을 생성합니다.사용자 질의를 분석하여 카테고리와 질문을 추출하고FAQ 데이터가 저장된 Vector Store에서 사용자 질문과 비슷한 QA..

Better & Faster Large Language Models via Multi-token Prediction30 Apr 2024 https://arxiv.org/abs/2404.19737 Better & Faster Large Language Models via Multi-token PredictionLarge language models such as GPT and Llama are trained with a next-token prediction loss. In this work, we suggest that training language models to predict multiple future tokens at once results in higher sample efficiency. ..

Topic. 임베딩에 대해 알아봅니다.* 임베딩이란?임베딩(Embedding)은 텍스트 데이터를 수치 벡터로 변환하는 과정입니다. BERT 모델에서는 토큰 임베딩, 세그먼트 임베딩, 위치 임베딩의 세 가지 임베딩이 결합되어 최종 입력 임베딩을 만듭니다. BERT의 임베딩 과정을 단계별로 설명하겠습니다.1. 토큰 임베딩(Token Embedding)토큰 임베딩은 각 단어(또는 토큰)를 고정된 길이의 벡터로 변환하는 과정입니다. BERT는 WordPiece 토크나이저를 사용하여 단어를 더 작은 조각으로 나누기도 합니다.예를 들어, 문장 "I love you"는 "[CLS] I love you [SEP]"로 변환됩니다.각 토큰은 미리 학습된 임베딩 벡터로 변환됩니다. 임베딩 벡터에 대한 설명은 맨 아래쪽에서 ..

Topic. RAG 에 대해 알아봅니다.1. RAG 란?* 사전적 의미와 프로세스RAG(Retrieval-Augmented Generation)는 대규모 언어 모델의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 지식 베이스를 참조하도록 하는 프로세스입니다. 프로세스 내에서는 의도분류, 데이터 정합성판단, 환각현상 판단, 답변생성의 과정도 포함되어있습니다.1-2. 종류1-2-1. Adaptive RAGAdaptive RAG 는 사용자의 질문이 사용자가 가지고있는 데이터베이스의 정보와 연관성을 판단하여 검색어를 확장합니다. 연관성이 없을경우 검색엔진을 활용한 응답으로 넘어갑니다. 이는 검색엔진 뿐만 아니라 추가적인 데이터 수집 방법을 활용할 수 있습니다.1-2-2. Cor..

Let's Encrypt Let's Encrypt를 사용하여 와일드카드 SSL 인증서를 생성해서 여러 하위 도메인에 대해 하나의 인증서를 사용할 수 있는 방법을 알아보겠습니다. 와일드카드 인증서를 사용하면 도메인의 여러 서브도메인에 대해 인증을 제공하므로 관리가 용이하고 유연성을 얻을 수 있습니다. 아래는 와일드카드 SSL 인증서를 생성하는 데 필요한 과정에대한 설명 입니다. 와일드 카드 인증서 및 DNS-01 챌린지 쉽게 이해하기와일드 카드 인증서DNS-01 챌린지Certbot 1. 와일드 카드 인증서와일드카드 인증서는 하나의 인증서로 여러 서브도메인을 보호할 수 있는 SSL 인증서입니다. 예를 들어, x2bee.com 도메인의 와일드카드 인증서를 생성하면 다음과 같은 서브도메인에서 사용 할 수 있습니..

- 온프레미스(On-premise)On-premis는 기업이 자체적으로 서버와 관련 인프라를 보유하고 직접 관리 및 운영하는 방식을 의미합니다. 이의 가장 큰 특징적 의미는 클라우드 컴퓨팅과의 대비되는 개념이라는 것 입니다. 클라우드 컴퓨팅 이전에는 기업이 자체적으로 모든 IT 인프라를 구축하고 관리했습니다. 이러한 전통적인 방식에서 기업이 데이터 센터나 사무실에 물리적인 서버와 네트워크 장비를 구매하고 설치해 관리해야 했습니다. 그렇기에 몇가지 큰 특징이 있었습니다. '자체 데이터 센터 운영', '고정 서버 비용', '한정된 유연성' 등의 특징이 있었습니다. 이러한 단점 속에서 클라우드 컴퓨팅이 등장하였고, 전통적인 방식과 비교되는 장점을 제공하게 되었습니다.- 클라우드 컴퓨팅먼저 클라우드 컴퓨팅은 인..

[python] 원하는 이미지 데이터셋을 만들고싶은데, 귀찮을 때이미지 데이터셋을 만들려면 직접 웹에서 다운받고 이름 매핑하고 폴도 구조 관리하고 여간 귀찮은 일이 아닐 수 없다..그래서 파이썬 라이브러리에서 이미지 검색쪽을 찾아보니 괜찮은 것이x2bee.tistory.com이 글에 이어지는 내용이다.  원하는 카테고리별로 이미지를 빙에서 가져와서 로컬로 저장하는 로직까지 설명되어있는 글이다. 이제는 검색엔진에 상품 데이터를 저장하는 로직을 추가하려고한다. 여기서 핵심은 이미지를 벡터 임베딩을 해서 저장하는 것이다. 향후 이 벡터값으로 이미지 검색을 했을 때 유사성이 높은 이미지가 검색되도록 하기 위한 것이다. 짧게 설명하자면 검색하고자 하는 이미지 검색 -> 임베딩--------------유사도 계산-..

Vector Store의 역할Vector Store는 검색과 정보 검색 시스템에서 중요한 역할을 합니다.데이터를 벡터 형태로 변환하여 저장하고, 이를 기반으로 효율적으로 검색할 수 있게 한다.  Vector Store의 활용처유사도검색 (Similarity Search)추천시스템 (Recommendation Systems)자연어 처리(Natural Language Processing) 등등.. 효율적인 Vector Embedding 저장과 검색기존의 데이터베이스 시스템도 embedding을 저장하고 검색할 수 있지만, 모든 데이터의 embedding과 쿼리 embedding의 유사도를 계산해야 하므로 많은 연산이 필요하고, 결과를 가져오는 속도가 느리다. 반면, Vector DB는 자체적인 알고리즘을 사..

이미지 데이터셋을 만들려면 직접 웹에서 다운받고 이름 매핑하고 폴도 구조 관리하고 여간 귀찮은 일이 아닐 수 없다..그래서 파이썬 라이브러리에서 이미지 검색쪽을 찾아보니 괜찮은 것이 있어, 공유하고자 한다.  bing_image_donloader  라이브러리이다. 이 라이브러리는 bing 이미지 검색 엔진에서 이미지를 손쉽게 다운로드할 수 있는 라이브러리이다. 특정 키워드만 있으면 원하는 이미지를 다운받을 수 있다. 키워드는 카테고리라고 생각하면된다. - 파라미터 keyword: 검색할 키워드.limit: 다운로드할 이미지의 최대 개수.output_dir: 이미지를 저장할 디렉토리 경로.adult_filter_off: 성인 콘텐츠 필터 설정 (True: 필터 사용, False: 필터 사용 안 함).for..

"오늘의집" 은 커머스와 콘텐츠를 결합한 독특한 서비스로,방대한 이미지 데이터를 활요하여 분석 및 추천 서비스를 제공한다. 그 중에서도 이미지 유사도를 이용한 콘텐츠 추천과 상품 추천 서비스를 제공한다.이번 포스팅에서는 오늘의 집의 '이미지 유사도' 모델을 개발한 과정을 소개해보려고 한다. 비슷한 공간..목표 : 주어진 인테리어 이미지와 유사한 다른 이미지 검색 두 가지의 서비스 - 유저가 선택한 사진과 비슷한 스타일의 콘텐츠를 추천해주는 '비슷한 공간' 서비스- 유저가 선택한 비슷한 형태의 또 다른 제품을 소개해주는 서비스 이 두 개의 서비스는 유저가 클릭한 인테리어와 상품과 비슷한 이미지를 찾아줌으로써 더 많은 탐색을 할 수 있도록 돕는다. "오늘의집" 에서 잡은 해당 두 기능의 목표1. 정성적으로 ..

데이터는 초거대언어모델(LLM)과 생성형 AI를 움직이는 원유다다량의 데이터는 생성형 AI와 초거대언어 모델(LLM)을 포함한 최신 인공지능 모델의 성능 최적화에 있어 결정적인 변수이다. 그러나 단순한 데이터의 양의 증가만으로는 인공지능 모델의 최적화를 달성하기는 어렵다. 우리는 데이터의 양만큼이나 질이 중요하다는 점을 간과해서는 안된다.   Garbage in, garbage out 품질이 저하된 데이터는 그 규모가 어마어마하더라도 원하는 성과를 가져오기 어렵다.그렇다면 풀질 높은 데이터란 어떠한 특징을 갖추고 있어야 하는가? 일관성 있는 데이터여기서 ‘일관성 있는 데이터는 통일된 표현법과 단위를 갖는 데이터를 의미하며, 이를 통해 유의미한 통찰력을 얻을 수 있다는 말이다.그 외에도, 중복이 없는 독창..

Topic. 출처 : 원문 1. DP (Data Parallel) 각 GPU 에 서로 다른 데이터 분산처리방식 import torch.nn as nn model = nn.DataParallel(model) model 을 pytorch의 nn 라이브러리의 DataParallel 클래스로 감싸준다. - GPU1, GPU2, GPU3, GPU4 에서 GPU1이 메인 GPU라면 GPU1에 과부하가 발생 2. DDP (Distributed Data Parallel) 멀티쓰레딩, sampler 활용한 데이터 분산처리방식 from torch.nn.parallel import DistributedDataParallel as DDP model = DDP(model, device_ids=[rank]) multithread..

1. 개요 vast.ai 에서 인스턴스를 사용하고 정지를 해놓은 상태에서 다른 사용자가 해당 GPU를 사용하게되면 부팅이 불가능하게 됩니다. 이를 대비하여 새로운 인스턴스를 생성하고 이전 저장소에서 새로운 인스턴스로 파일을 전송하는 방법을 공유합니다. 2. 상태 FROM Instance -> TO 로 옮기려고 합니다. 현재 FROM 의 /home/userdir_01 폴더에 필요한 파일이 모두 설치되어 있습니다. 이를 TO 의 /home/userdir_01 로 파일을 모두 이동시키려고 합니다. 3. Useradd - TO 에 접속하여 사용자를 만듭니다. (비밀번호 설정 요청이 나옵니다.) $ sudo adduser userdir_01 - 명령어를 사용하면 userdir_01 이라는 사용자가 생성되며 $ s..

자연어 처리 모델의 성능을 향상시키기 위해서 사용되는 두 가지 접근 방식입니다. 각각의 방식은 모델이 데이터를 처리하고 학습하는 방법에서 차이를 보입니다. SFT(Supervised Fine-Tuning) 지도 학습 기반의 미세 조정 방법입니다. 레이블이 지정된 데이터셋을 사용하여 사전 훈련된 모델을 특정 작업이나 도메인에 맞게 추가 학습시킵니다. 대화형식의 데이터를 사용하여, 대화에 대한 이해와 생성 능력을 개선하기 위한 목적으로 사용될 수 있습니다. 예시 데이터 : https://huggingface.co/datasets/davidkim205/kollm-converations

# 영어 리더보드 # 평가 도구 다운로드 git clone https://github.com/EleutherAI/lm-evaluation-harness # 다운로드된 폴더로 이동 cd lm-evaluation-harness # 패키지 설치 pip install -r requirements.txt pip install evaluate lm_eval \ --model hf \ --model_args pretrained={Your Model Huggingface ID} \ --tasks hellaswag,copa,boolq,mmlu \ --device cuda:0 \ --batch_size 1 \ --num_fewshot {0~50} # 한국어 리더보드 git clone https://github.com/Be..

PET-SQL: A Prompt-enhanced Two-stage Text-to-SQL 13 Mar 2024 https://arxiv.org/pdf/2403.09732v1.pdf reference-enhanced representation 이라는 새로운 프롬프트 표현을 소개한다. 이건 스키마 정보와 테이블에서 무작위로 샘플링된 셀 값들을 포함하여 LLM이 SQL 쿼리를 생성하는데 도움을 주는 것이다. 위 논문은 특정 모델을 훈련시키지 않고도 현재 LLMs의 성능을 촉진하는 Prompt-Enhanced Two-stage text-to-SQL 프레임워크를 제안한다. 💡 방법론 질문-SQL 쌍(사용자가 제시한 질문에 대해 SQL 쿼리가 어떻게 생성되는지를 보여주는 데이터)를 검색하여 LLM이 초기 SQL(Pr..

Topic. Fine-tuning 후 기존 base 모델과 생성된 adapter_model 을 merge합니다. 1. huggingface login $ pip install huggingface_hub $ huggingface-cli login 1.1 허깅페이스에서 발급받은 토큰 입력 2. Base Model 가져오기 from transformers import AutoModelForCausalLM, AutoTokenizer model_pretrained_name = {base model id} path_to_lora_adapters = {adapter model path} #모델 불러오기 model = AutoModelForCausalLM.from_pretrained( model_pretrained_..

Topic. 파이썬 패키지 불러오기 파이썬 패키지를 찾는 경로는 sys.path 안에서 찾습니다. [ In 1 ] import sys print(sys.path) [ Out 1 ] ["/root/python_project","/root/home","/root/anaconda3"] sys.path 는 문자열로 구성된 리스트입니다. 내가 찾고자 하는 파이썬 파일의 경로가 sys.path list에 들어있지 않다면? import sys sys.path.append("/root/my_folder/python") import my_python_file 위와같이 sys.path 에 append 후 불러오면 됩니다.