Hard Negatives는 딥러닝 모델, 특히 검색 모델이나 임베딩 모델의 학습 데이터에서 의미적으로 정답과 비슷하지만 정답은 아닌 문서를 말한다.이들은 학습 데이터를 더욱 어려운 문제로 만들어, 모델이 단순한 학습 패턴에 의존하지 않고, 더 정교한 학습을 유도할 수있게 한다는 말이다. Hard Negatives란 무엇인가?Hard Negative 정의Hard Negatives는 쿼리(Query)와 양성 문서(Positive Sample) 사이의 유사한 맥락을 가지지만, 실제로는 정답이 아닌 문서이다. 예를 들어,Query: "Python 프로그래밍 기초 가이드"Positive: "Python 초보자를 위한 프로그래밍 입문서"Hard Negative: "Python 고급 프로그래밍 기법 소개"Hard ..

현재 LLM을 활용하는 방법은 주로 RAG를 기반으로 하는 Single Agent Architecture를 활용한다. 여기서 Agent란 LLM을 통상적으로 LLM을 하나의 지성체로 보고 스스로의 기억(Memory)를 기반으로 계획하고, 행동하고, 도구(Tools)를 사용하며 능동적으로 문제를 해결하는 하나의 존재 단위를 의미한다.  여행사에서 고객의 질문에 자동으로 답변하기 위해 FAQ를 바탕으로 Single Agent Architecture를 구축한다고 할 때Single Agent Architecture를 통해 Agent는 사용자 질문에 대해 아래 단계를 거쳐 답변을 생성합니다.사용자 질의를 분석하여 카테고리와 질문을 추출하고FAQ 데이터가 저장된 Vector Store에서 사용자 질문과 비슷한 QA..

Topic. RAG 에 대해 알아봅니다.1. RAG 란?* 사전적 의미와 프로세스RAG(Retrieval-Augmented Generation)는 대규모 언어 모델의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 지식 베이스를 참조하도록 하는 프로세스입니다. 프로세스 내에서는 의도분류, 데이터 정합성판단, 환각현상 판단, 답변생성의 과정도 포함되어있습니다.1-2. 종류1-2-1. Adaptive RAGAdaptive RAG 는 사용자의 질문이 사용자가 가지고있는 데이터베이스의 정보와 연관성을 판단하여 검색어를 확장합니다. 연관성이 없을경우 검색엔진을 활용한 응답으로 넘어갑니다. 이는 검색엔진 뿐만 아니라 추가적인 데이터 수집 방법을 활용할 수 있습니다.1-2-2. Cor..

Vector Store의 역할Vector Store는 검색과 정보 검색 시스템에서 중요한 역할을 합니다.데이터를 벡터 형태로 변환하여 저장하고, 이를 기반으로 효율적으로 검색할 수 있게 한다.  Vector Store의 활용처유사도검색 (Similarity Search)추천시스템 (Recommendation Systems)자연어 처리(Natural Language Processing) 등등.. 효율적인 Vector Embedding 저장과 검색기존의 데이터베이스 시스템도 embedding을 저장하고 검색할 수 있지만, 모든 데이터의 embedding과 쿼리 embedding의 유사도를 계산해야 하므로 많은 연산이 필요하고, 결과를 가져오는 속도가 느리다. 반면, Vector DB는 자체적인 알고리즘을 사..

"오늘의집" 은 커머스와 콘텐츠를 결합한 독특한 서비스로,방대한 이미지 데이터를 활요하여 분석 및 추천 서비스를 제공한다. 그 중에서도 이미지 유사도를 이용한 콘텐츠 추천과 상품 추천 서비스를 제공한다.이번 포스팅에서는 오늘의 집의 '이미지 유사도' 모델을 개발한 과정을 소개해보려고 한다. 비슷한 공간..목표 : 주어진 인테리어 이미지와 유사한 다른 이미지 검색 두 가지의 서비스 - 유저가 선택한 사진과 비슷한 스타일의 콘텐츠를 추천해주는 '비슷한 공간' 서비스- 유저가 선택한 비슷한 형태의 또 다른 제품을 소개해주는 서비스 이 두 개의 서비스는 유저가 클릭한 인테리어와 상품과 비슷한 이미지를 찾아줌으로써 더 많은 탐색을 할 수 있도록 돕는다. "오늘의집" 에서 잡은 해당 두 기능의 목표1. 정성적으로 ..

Topic. 출처 : 원문 1. DP (Data Parallel) 각 GPU 에 서로 다른 데이터 분산처리방식 import torch.nn as nn model = nn.DataParallel(model) model 을 pytorch의 nn 라이브러리의 DataParallel 클래스로 감싸준다. - GPU1, GPU2, GPU3, GPU4 에서 GPU1이 메인 GPU라면 GPU1에 과부하가 발생 2. DDP (Distributed Data Parallel) 멀티쓰레딩, sampler 활용한 데이터 분산처리방식 from torch.nn.parallel import DistributedDataParallel as DDP model = DDP(model, device_ids=[rank]) multithread..