이전에 NVIDIA Llama Nemotron Reasoning Models과 관련된 포스팅을 한적이 있습니다. NVIDIA Llama Nemotron Reasoning Models의 몇몇 학습 방법은 DeepSeek-R1 등과 같은 여타 다른 모델들의 학습 방법과 큰 차이가 존재하진 않습니다. 그러나 모델의 아키텍처는 차이가 있는데 그것이 바로 NAS(Neural Architecture Search) 입니다.  NAS는 Arxiv에 게재되어 있는 PUZZLE: DISTILLATION-BASED NAS FOR INFERENCE-OPTIMIZED LLMS(Nvidia, 2025) 에서 제안된 커스터마이징 구조입니다. 그래서 이번 포스팅에서는 해당 논문을 리뷰해보고자 합니다.  Large language m..

안녕하세요 이번에 Nvidia 가 R1보다 성능이 좋다고 주장하는 모델인 라마-3.1-네모트론-울트라-253B-v1이 출시되었습니다. 해당 모델은 라마-3.1-405B-인스트럭트 모델을 기반으로 제작되었다고 합니다. Nvidia에서 작성한 출시 글을 보면, 이 모델을 제작하게 된 이유를 명확하게 작성하고 있는데요.  현재, AI의 발전은 Agent에 초점을 두고 이루어지는데요. 특히, 여러 기업들이 생산성 향상이라는 목표를 가지고 Agent를 앞다투어 개발하고 있습니다. AI 에이전트는 다양한 데이터 포인트와 동적 환경 속에서 발생하는 문제들을 해결하기 위해 고도의 추론 능력을 필요로 합니다. 또한 복잡한 시나리오에 대해 신속하고 논리적인 결정들을 내릴 수 있으며, 이를 통해 비즈니스의 민첩성과 전략적 ..

딥시크 R1의 등장은 세상을 깜짝 놀라게 했는데요. 미국은 중국의 AI를 견제하기 위해서 고성능 칩들에 대한 수출을 통제하고 있던 중에 미국의 고성능 LLM 과 유사하거나 더 높은 성능의 모델을 세상에 내놓음으로써 사람들은 깜짝 놀랄 수 밖에 없었습니다.  그런, 딥시크가 이제는 R1의 후속으로 R2의 출시가 임박했다는 증거가 arXiv에 게재되었는데요 바로, Inference-Time Scaling for Generalist Reward Modeling 입니다.   Reinforcement learning (RL) has been widely adopted in post-training for large language models (LLMs) at scale. Recently, the incentiv..

Figma-MCP가 최근에 공개가 되었는데요. MCP는 이전에 몇 차례 다루었기에 아래의 게시글을 참고해주시면 이에 대한 내용이 궁금하시다면, 아래의 게시글을 참고해주세요. https://x2bee.tistory.com/478 MCP (Model Context Protocol) 소개작년 11월 쯤 Claude에서 Model Context Protocol 이라는 걸 새로 발표를 했습니다. (당시 아무도 관심이 없었던 것 같습니다.)  그러나 최근 들어 급격하게 MCP가 주목 받고 있는데요. 그 이유로 많은 분들x2bee.tistory.comhttps://x2bee.tistory.com/480 MCP를 Claude Desktop으로 간단히 구현해보자.Claude Desktop을 활용하여 간단하게 MCP를 구..

Gaudi2에서는 vLLM을 통해서 서빙하는 것이 가능합니다. 그렇기에 이를 활용하여 서빙하는 방법에 대해서 소개해보고자 합니다.  https://github.com/HabanaAI/vllm-fork GitHub - HabanaAI/vllm-fork: A high-throughput and memory-efficient inference and serving engine for LLMsA high-throughput and memory-efficient inference and serving engine for LLMs - HabanaAI/vllm-forkgithub.com  하바나 공식 문서 : https://docs.habana.ai/en/latest/PyTorch/Inference_on_PyTorc..

MCP를 이용할 수 있는 플랫폼은 많이 있지만 개발 환경이나 구현 환경에 따라 본인이 구성한 플랫폼에서 실행하기 위해 MCP 클라이언트와 서버를 구현하는 방법을 알아야한다.  1. 사용하고자 하는 기능을 구현한 MCP 서버들 2. MCP 서버들을 하나로 통합해 실행할 수 있도록하는 클라이언트 위 두가지를 구현해야 한다. 우선 간단한 현재 시간을 알려주는 서버를 구현한다.class TimeTools(str, Enum): GET_CURRENT_TIME = "get_current_time" CONVERT_TIME = "convert_time"class TimeResult(BaseModel): timezone: str datetime: str is_dst: boolclass TimeC..