거대한 AI 모델의 뛰어난 추론 능력을 작은 모델로 옮겨담을 수 있다면 어떨까요? NVIDIA가 최근 발표한 OpenReasoning-Nemotron 모델 시리즈는 바로 이런 아이디어를 현실로 만든 혁신적인 결과물입니다. 671억 개 파라미터를 가진 거대한 DeepSeek R1 모델의 추론 능력을 1.5B부터 32B까지 다양한 크기의 모델로 성공적으로 이전한 이 프로젝트는 AI 연구와 실용화에 새로운 전환점을 제시하고 있습니다.
지식 증류 기술의 새로운 차원
OpenReasoning-Nemotron의 핵심은 ‘지식 증류(Knowledge Distillation)’라는 기술에 있습니다. 이는 큰 모델이 학습한 지식과 추론 방식을 작은 모델에게 전수하는 과정으로, 마치 숙련된 교사가 학생에게 노하우를 전달하는 것과 비슷합니다.
NVIDIA 연구팀은 DeepSeek R1 0528 671B 모델을 ‘교사’로 삼아 수학, 과학, 코딩 영역에서 500만 개의 고품질 추론 데이터를 생성했습니다. 이 과정에서 단순히 정답만을 학습시키는 것이 아니라, 문제를 해결하는 ‘사고 과정’ 자체를 작은 모델들이 따라 할 수 있도록 훈련시켰습니다.
흥미로운 점은 이 모델들이 강화학습(Reinforcement Learning) 없이 지도학습(Supervised Fine-Tuning)만으로 훈련되었다는 것입니다. 이는 복잡한 RL 과정 없이도 뛰어난 추론 능력을 구현할 수 있음을 보여주는 중요한 성과입니다.
크기별 최적화된 모델 라인업
OpenReasoning-Nemotron은 연구자와 개발자들의 다양한 컴퓨팅 환경을 고려해 네 가지 크기로 제공됩니다:
OpenReasoning-Nemotron-1.5B: PC나 엣지 디바이스에서도 실행 가능한 초경량 모델로, 기본적인 추론 작업에 적합합니다.
OpenReasoning-Nemotron-7B: 단일 GPU 환경에서 최적의 성능을 제공하며, 대부분의 연구 환경에서 활용 가능합니다.
OpenReasoning-Nemotron-14B: 더 높은 정확도가 필요한 복잡한 추론 작업에 적합한 중간 크기 모델입니다.
OpenReasoning-Nemotron-32B: 멀티GPU 서버 환경에서 최고 수준의 추론 정확도를 제공하는 최상위 모델입니다.
놀라운 성능 향상과 GenSelect 기법
각 모델은 해당 크기 범주에서 최고 수준의 성능을 달성했습니다. 특히 32B 모델의 경우 수학 올림피아드 문제인 AIME24에서 89.2%, AIME25에서 84.0%의 정확도를 기록했습니다. 이는 기존의 동급 모델들을 크게 상회하는 수치입니다.
더욱 흥미로운 것은 GenSelect(Generative Solution Selection) 기법의 적용입니다. 이 방법은 하나의 문제에 대해 여러 개의 답안을 생성한 후, 가장 적절한 답을 선택하는 방식입니다. GenSelect를 적용한 32B 모델은 일부 벤치마크에서 OpenAI의 o3 모델에 근접하거나 이를 초과하는 성능을 보여주었습니다.
특히 수학 문제 해결을 위해서만 훈련된 GenSelect 능력이 코딩 문제에도 자동으로 적용되는 ‘일반화’ 현상을 보인 것은 주목할 만한 발견입니다.
연구 커뮤니티를 위한 오픈 생태계
NVIDIA는 단순히 모델만 공개하는 것이 아니라, 연구 커뮤니티의 발전을 위한 완전한 생태계를 제공하고 있습니다. Hugging Face를 통해 모든 모델을 무료로 다운로드할 수 있으며, 데이터 생성부터 모델 훈련, 평가까지의 전체 과정을 재현할 수 있는 NeMo-Skills 코드도 공개했습니다.
500만 개의 고품질 추론 데이터셋도 향후 몇 달 내에 공개될 예정이어서, 다른 연구자들이 이를 바탕으로 더 나은 모델을 개발할 수 있는 기반을 제공할 것입니다.
AI 추론 모델의 민주화 실현
OpenReasoning-Nemotron의 가장 중요한 의미는 AI 추론 능력의 민주화입니다. 기존에는 거대한 컴퓨팅 자원을 보유한 소수의 기업만이 고수준의 추론 AI를 개발하고 활용할 수 있었습니다. 하지만 이제는 일반적인 GPU 환경에서도 뛰어난 추론 능력을 가진 AI 모델을 사용할 수 있게 되었습니다.
특히 SFT만으로 이러한 성과를 달성했다는 점은 앞으로 더 많은 연구자들이 강화학습의 복잡함 없이도 고성능 추론 모델을 개발할 수 있는 길을 열어주었습니다. 이는 AI 연구의 진입 장벽을 크게 낮추는 동시에, 다양한 응용 분야에서 맞춤형 추론 AI 개발을 가능하게 할 것입니다.
OpenReasoning-Nemotron은 단순한 모델 공개를 넘어서, AI 기술이 소수의 독점에서 벗어나 더 많은 사람들이 활용할 수 있는 공공재로 발전하는 중요한 이정표가 될 것으로 기대됩니다.
참고자료:
Comments