안녕하세요. 이번에 네이버가 출시한 HyperCLOVA X SEED에 대해서 소개해보고자 합니다. 네이버가 이번에 HyperCLOVA X SEED를 출시하면서 "소버린 AI 생태계 구축을 위한 중요한 발걸음입니다. 소버린 AI의 구현은 어느 한 기업이나 국가가 혼자 이룰 수 없는 거대한 과제입니다. 네이버는 다른 기업들이 더 강력해지기를 바라며, 소버린 AI 생태계 조성을 위해 HyperCLOVA X SEED를 오픈소스로 공개합니다." 라는 말을 했는데 여기서 소버린 AI란 '자주적인', '주권이 있는' 이라는 의미의 소버린(Sovereign)에 AI(인공지능)을 붙인 단어로, 일반적으로, 특정 국가 또는 조직이 자국 내에서 독립적으로 운영하고 통제할 수 있는 인공지능 시스템을 의미합니다. 최근 여러 ..

이전에 NVIDIA Llama Nemotron Reasoning Models과 관련된 포스팅을 한적이 있습니다. NVIDIA Llama Nemotron Reasoning Models의 몇몇 학습 방법은 DeepSeek-R1 등과 같은 여타 다른 모델들의 학습 방법과 큰 차이가 존재하진 않습니다. 그러나 모델의 아키텍처는 차이가 있는데 그것이 바로 NAS(Neural Architecture Search) 입니다.  NAS는 Arxiv에 게재되어 있는 PUZZLE: DISTILLATION-BASED NAS FOR INFERENCE-OPTIMIZED LLMS(Nvidia, 2025) 에서 제안된 커스터마이징 구조입니다. 그래서 이번 포스팅에서는 해당 논문을 리뷰해보고자 합니다.  Large language m..

안녕하세요 이번에 Nvidia 가 R1보다 성능이 좋다고 주장하는 모델인 라마-3.1-네모트론-울트라-253B-v1이 출시되었습니다. 해당 모델은 라마-3.1-405B-인스트럭트 모델을 기반으로 제작되었다고 합니다. Nvidia에서 작성한 출시 글을 보면, 이 모델을 제작하게 된 이유를 명확하게 작성하고 있는데요.  현재, AI의 발전은 Agent에 초점을 두고 이루어지는데요. 특히, 여러 기업들이 생산성 향상이라는 목표를 가지고 Agent를 앞다투어 개발하고 있습니다. AI 에이전트는 다양한 데이터 포인트와 동적 환경 속에서 발생하는 문제들을 해결하기 위해 고도의 추론 능력을 필요로 합니다. 또한 복잡한 시나리오에 대해 신속하고 논리적인 결정들을 내릴 수 있으며, 이를 통해 비즈니스의 민첩성과 전략적 ..

딥시크 R1의 등장은 세상을 깜짝 놀라게 했는데요. 미국은 중국의 AI를 견제하기 위해서 고성능 칩들에 대한 수출을 통제하고 있던 중에 미국의 고성능 LLM 과 유사하거나 더 높은 성능의 모델을 세상에 내놓음으로써 사람들은 깜짝 놀랄 수 밖에 없었습니다.  그런, 딥시크가 이제는 R1의 후속으로 R2의 출시가 임박했다는 증거가 arXiv에 게재되었는데요 바로, Inference-Time Scaling for Generalist Reward Modeling 입니다.   Reinforcement learning (RL) has been widely adopted in post-training for large language models (LLMs) at scale. Recently, the incentiv..

Gaudi2에서는 vLLM을 통해서 서빙하는 것이 가능합니다. 그렇기에 이를 활용하여 서빙하는 방법에 대해서 소개해보고자 합니다.  https://github.com/HabanaAI/vllm-fork GitHub - HabanaAI/vllm-fork: A high-throughput and memory-efficient inference and serving engine for LLMsA high-throughput and memory-efficient inference and serving engine for LLMs - HabanaAI/vllm-forkgithub.com  하바나 공식 문서 : https://docs.habana.ai/en/latest/PyTorch/Inference_on_PyTorc..

최근 LLM 개발에서 Qwen 과  QwQ 와 같은 모델들로 새로운 강자로 부상한 중국의 Alibaba가 이번에 새로운 모델을 발표했습니다. 이 모델의 이름은 바벨입니다. Babel의 arixiv 논문 제목은 Babel: Open Multilingual Large Language Models Serving Over 90% of Global Speakers 인데요 말 그대로 90% 이상의 화자가 사용할 수 있도록 여러 언어로 학습된 모델이라고 합니다. (인간은 바벨탑을 짓고 신의 권위에 도전했다가 바벨탑은 무너지고 그 이전까지 같은 언어를 사용했던 인간들은 서로 다른 언어를 하게 되어 갈등과 분쟁을 반복했다고 전해지죠.) 사실, 현재 LLM들은 영어나 중국어를 기반으로 프랑스어나 독일어 와 같은 발달된 국..