Better & Faster Large Language Models via Multi-token Prediction30 Apr 2024 https://arxiv.org/abs/2404.19737 Better & Faster Large Language Models via Multi-token PredictionLarge language models such as GPT and Llama are trained with a next-token prediction loss. In this work, we suggest that training language models to predict multiple future tokens at once results in higher sample efficiency. ..

Topic. 임베딩에 대해 알아봅니다.* 임베딩이란?임베딩(Embedding)은 텍스트 데이터를 수치 벡터로 변환하는 과정입니다. BERT 모델에서는 토큰 임베딩, 세그먼트 임베딩, 위치 임베딩의 세 가지 임베딩이 결합되어 최종 입력 임베딩을 만듭니다. BERT의 임베딩 과정을 단계별로 설명하겠습니다.1. 토큰 임베딩(Token Embedding)토큰 임베딩은 각 단어(또는 토큰)를 고정된 길이의 벡터로 변환하는 과정입니다. BERT는 WordPiece 토크나이저를 사용하여 단어를 더 작은 조각으로 나누기도 합니다.예를 들어, 문장 "I love you"는 "[CLS] I love you [SEP]"로 변환됩니다.각 토큰은 미리 학습된 임베딩 벡터로 변환됩니다. 임베딩 벡터에 대한 설명은 맨 아래쪽에서 ..

Topic. RAG 에 대해 알아봅니다.1. RAG 란?* 사전적 의미와 프로세스RAG(Retrieval-Augmented Generation)는 대규모 언어 모델의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 지식 베이스를 참조하도록 하는 프로세스입니다. 프로세스 내에서는 의도분류, 데이터 정합성판단, 환각현상 판단, 답변생성의 과정도 포함되어있습니다.1-2. 종류1-2-1. Adaptive RAGAdaptive RAG 는 사용자의 질문이 사용자가 가지고있는 데이터베이스의 정보와 연관성을 판단하여 검색어를 확장합니다. 연관성이 없을경우 검색엔진을 활용한 응답으로 넘어갑니다. 이는 검색엔진 뿐만 아니라 추가적인 데이터 수집 방법을 활용할 수 있습니다.1-2-2. Cor..

Let's Encrypt Let's Encrypt를 사용하여 와일드카드 SSL 인증서를 생성해서 여러 하위 도메인에 대해 하나의 인증서를 사용할 수 있는 방법을 알아보겠습니다. 와일드카드 인증서를 사용하면 도메인의 여러 서브도메인에 대해 인증을 제공하므로 관리가 용이하고 유연성을 얻을 수 있습니다. 아래는 와일드카드 SSL 인증서를 생성하는 데 필요한 과정에대한 설명 입니다. 와일드 카드 인증서 및 DNS-01 챌린지 쉽게 이해하기와일드 카드 인증서DNS-01 챌린지Certbot 1. 와일드 카드 인증서와일드카드 인증서는 하나의 인증서로 여러 서브도메인을 보호할 수 있는 SSL 인증서입니다. 예를 들어, x2bee.com 도메인의 와일드카드 인증서를 생성하면 다음과 같은 서브도메인에서 사용 할 수 있습니..

- 온프레미스(On-premise)On-premis는 기업이 자체적으로 서버와 관련 인프라를 보유하고 직접 관리 및 운영하는 방식을 의미합니다. 이의 가장 큰 특징적 의미는 클라우드 컴퓨팅과의 대비되는 개념이라는 것 입니다. 클라우드 컴퓨팅 이전에는 기업이 자체적으로 모든 IT 인프라를 구축하고 관리했습니다. 이러한 전통적인 방식에서 기업이 데이터 센터나 사무실에 물리적인 서버와 네트워크 장비를 구매하고 설치해 관리해야 했습니다. 그렇기에 몇가지 큰 특징이 있었습니다. '자체 데이터 센터 운영', '고정 서버 비용', '한정된 유연성' 등의 특징이 있었습니다. 이러한 단점 속에서 클라우드 컴퓨팅이 등장하였고, 전통적인 방식과 비교되는 장점을 제공하게 되었습니다.- 클라우드 컴퓨팅먼저 클라우드 컴퓨팅은 인..

[python] 원하는 이미지 데이터셋을 만들고싶은데, 귀찮을 때이미지 데이터셋을 만들려면 직접 웹에서 다운받고 이름 매핑하고 폴도 구조 관리하고 여간 귀찮은 일이 아닐 수 없다..그래서 파이썬 라이브러리에서 이미지 검색쪽을 찾아보니 괜찮은 것이x2bee.tistory.com이 글에 이어지는 내용이다.  원하는 카테고리별로 이미지를 빙에서 가져와서 로컬로 저장하는 로직까지 설명되어있는 글이다. 이제는 검색엔진에 상품 데이터를 저장하는 로직을 추가하려고한다. 여기서 핵심은 이미지를 벡터 임베딩을 해서 저장하는 것이다. 향후 이 벡터값으로 이미지 검색을 했을 때 유사성이 높은 이미지가 검색되도록 하기 위한 것이다. 짧게 설명하자면 검색하고자 하는 이미지 검색 -> 임베딩--------------유사도 계산-..