Topic. RAG 에 대해 알아봅니다.1. RAG 란?* 사전적 의미와 프로세스RAG(Retrieval-Augmented Generation)는 대규모 언어 모델의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 지식 베이스를 참조하도록 하는 프로세스입니다. 프로세스 내에서는 의도분류, 데이터 정합성판단, 환각현상 판단, 답변생성의 과정도 포함되어있습니다.1-2. 종류1-2-1. Adaptive RAGAdaptive RAG 는 사용자의 질문이 사용자가 가지고있는 데이터베이스의 정보와 연관성을 판단하여 검색어를 확장합니다. 연관성이 없을경우 검색엔진을 활용한 응답으로 넘어갑니다. 이는 검색엔진 뿐만 아니라 추가적인 데이터 수집 방법을 활용할 수 있습니다.1-2-2. Cor..

[python] 원하는 이미지 데이터셋을 만들고싶은데, 귀찮을 때이미지 데이터셋을 만들려면 직접 웹에서 다운받고 이름 매핑하고 폴도 구조 관리하고 여간 귀찮은 일이 아닐 수 없다..그래서 파이썬 라이브러리에서 이미지 검색쪽을 찾아보니 괜찮은 것이x2bee.tistory.com이 글에 이어지는 내용이다.  원하는 카테고리별로 이미지를 빙에서 가져와서 로컬로 저장하는 로직까지 설명되어있는 글이다. 이제는 검색엔진에 상품 데이터를 저장하는 로직을 추가하려고한다. 여기서 핵심은 이미지를 벡터 임베딩을 해서 저장하는 것이다. 향후 이 벡터값으로 이미지 검색을 했을 때 유사성이 높은 이미지가 검색되도록 하기 위한 것이다. 짧게 설명하자면 검색하고자 하는 이미지 검색 -> 임베딩--------------유사도 계산-..

Vector Store의 역할Vector Store는 검색과 정보 검색 시스템에서 중요한 역할을 합니다.데이터를 벡터 형태로 변환하여 저장하고, 이를 기반으로 효율적으로 검색할 수 있게 한다.  Vector Store의 활용처유사도검색 (Similarity Search)추천시스템 (Recommendation Systems)자연어 처리(Natural Language Processing) 등등.. 효율적인 Vector Embedding 저장과 검색기존의 데이터베이스 시스템도 embedding을 저장하고 검색할 수 있지만, 모든 데이터의 embedding과 쿼리 embedding의 유사도를 계산해야 하므로 많은 연산이 필요하고, 결과를 가져오는 속도가 느리다. 반면, Vector DB는 자체적인 알고리즘을 사..

이미지 데이터셋을 만들려면 직접 웹에서 다운받고 이름 매핑하고 폴도 구조 관리하고 여간 귀찮은 일이 아닐 수 없다..그래서 파이썬 라이브러리에서 이미지 검색쪽을 찾아보니 괜찮은 것이 있어, 공유하고자 한다.  bing_image_donloader  라이브러리이다. 이 라이브러리는 bing 이미지 검색 엔진에서 이미지를 손쉽게 다운로드할 수 있는 라이브러리이다. 특정 키워드만 있으면 원하는 이미지를 다운받을 수 있다. 키워드는 카테고리라고 생각하면된다. - 파라미터 keyword: 검색할 키워드.limit: 다운로드할 이미지의 최대 개수.output_dir: 이미지를 저장할 디렉토리 경로.adult_filter_off: 성인 콘텐츠 필터 설정 (True: 필터 사용, False: 필터 사용 안 함).for..

"오늘의집" 은 커머스와 콘텐츠를 결합한 독특한 서비스로,방대한 이미지 데이터를 활요하여 분석 및 추천 서비스를 제공한다. 그 중에서도 이미지 유사도를 이용한 콘텐츠 추천과 상품 추천 서비스를 제공한다.이번 포스팅에서는 오늘의 집의 '이미지 유사도' 모델을 개발한 과정을 소개해보려고 한다. 비슷한 공간..목표 : 주어진 인테리어 이미지와 유사한 다른 이미지 검색 두 가지의 서비스 - 유저가 선택한 사진과 비슷한 스타일의 콘텐츠를 추천해주는 '비슷한 공간' 서비스- 유저가 선택한 비슷한 형태의 또 다른 제품을 소개해주는 서비스 이 두 개의 서비스는 유저가 클릭한 인테리어와 상품과 비슷한 이미지를 찾아줌으로써 더 많은 탐색을 할 수 있도록 돕는다. "오늘의집" 에서 잡은 해당 두 기능의 목표1. 정성적으로 ..

데이터는 초거대언어모델(LLM)과 생성형 AI를 움직이는 원유다다량의 데이터는 생성형 AI와 초거대언어 모델(LLM)을 포함한 최신 인공지능 모델의 성능 최적화에 있어 결정적인 변수이다. 그러나 단순한 데이터의 양의 증가만으로는 인공지능 모델의 최적화를 달성하기는 어렵다. 우리는 데이터의 양만큼이나 질이 중요하다는 점을 간과해서는 안된다.   Garbage in, garbage out 품질이 저하된 데이터는 그 규모가 어마어마하더라도 원하는 성과를 가져오기 어렵다.그렇다면 풀질 높은 데이터란 어떠한 특징을 갖추고 있어야 하는가? 일관성 있는 데이터여기서 ‘일관성 있는 데이터는 통일된 표현법과 단위를 갖는 데이터를 의미하며, 이를 통해 유의미한 통찰력을 얻을 수 있다는 말이다.그 외에도, 중복이 없는 독창..