데이터는 초거대언어모델(LLM)과 생성형 AI를 움직이는 원유다다량의 데이터는 생성형 AI와 초거대언어 모델(LLM)을 포함한 최신 인공지능 모델의 성능 최적화에 있어 결정적인 변수이다. 그러나 단순한 데이터의 양의 증가만으로는 인공지능 모델의 최적화를 달성하기는 어렵다. 우리는 데이터의 양만큼이나 질이 중요하다는 점을 간과해서는 안된다.   Garbage in, garbage out 품질이 저하된 데이터는 그 규모가 어마어마하더라도 원하는 성과를 가져오기 어렵다.그렇다면 풀질 높은 데이터란 어떠한 특징을 갖추고 있어야 하는가? 일관성 있는 데이터여기서 ‘일관성 있는 데이터는 통일된 표현법과 단위를 갖는 데이터를 의미하며, 이를 통해 유의미한 통찰력을 얻을 수 있다는 말이다.그 외에도, 중복이 없는 독창..

자연어 처리 모델의 성능을 향상시키기 위해서 사용되는 두 가지 접근 방식입니다. 각각의 방식은 모델이 데이터를 처리하고 학습하는 방법에서 차이를 보입니다. SFT(Supervised Fine-Tuning) 지도 학습 기반의 미세 조정 방법입니다. 레이블이 지정된 데이터셋을 사용하여 사전 훈련된 모델을 특정 작업이나 도메인에 맞게 추가 학습시킵니다. 대화형식의 데이터를 사용하여, 대화에 대한 이해와 생성 능력을 개선하기 위한 목적으로 사용될 수 있습니다. 예시 데이터 : https://huggingface.co/datasets/davidkim205/kollm-converations

PET-SQL: A Prompt-enhanced Two-stage Text-to-SQL 13 Mar 2024 https://arxiv.org/pdf/2403.09732v1.pdf reference-enhanced representation 이라는 새로운 프롬프트 표현을 소개한다. 이건 스키마 정보와 테이블에서 무작위로 샘플링된 셀 값들을 포함하여 LLM이 SQL 쿼리를 생성하는데 도움을 주는 것이다. 위 논문은 특정 모델을 훈련시키지 않고도 현재 LLMs의 성능을 촉진하는 Prompt-Enhanced Two-stage text-to-SQL 프레임워크를 제안한다. 💡 방법론 질문-SQL 쌍(사용자가 제시한 질문에 대해 SQL 쿼리가 어떻게 생성되는지를 보여주는 데이터)를 검색하여 LLM이 초기 SQL(Pr..