같은 모델 계열인데, 도구를 다루는 훈련은 중간 크기부터 붙습니다. IBM이 내놓은 새 오픈 모델 3종에서, 3B와 8B 사이에 그어진 이 선이 실제 쓰임새를 가릅니다.
IBM이 오픈웨이트 대규모 언어 모델 Granite 4.2를 3B, 8B, 30B 세 가지 크기로 공개했습니다. 내려받아 직접 돌릴 수 있고, 라이선스는 자유로운 Apache 2.0이죠. 세 모델 모두 답을 내기 전에 사고 과정을 펼치는 추론에 초점을 맞췄고, 도구를 직접 호출하는 기능을 기본으로 갖췄습니다.
출처: Granite 4.2 LLMs: How They’re Built – IBM (Hugging Face)
무엇이 새로운가
Granite 4.2는 IBM이 추론에 무게를 실은 릴리스입니다. 이전 Granite가 지시를 잘 따르는 비서에 가까웠다면, 이번엔 답을 내기 전에 사고의 사슬(chain-of-thought)을 펼치는 능력을 명시적으로 넣었습니다. 세 모델 모두 ‘생각하기’와 ‘생각 안 하기’ 모드를 오갈 수 있고, 쉬운 질문엔 짧은 추론만 쓰는 저노력 모드도 그 사이에 있습니다. 과제의 난이도에 맞춰 연산을 아끼는 장치죠.
컨텍스트 창은 네이티브 128K 토큰을 지원하고, IBM은 학습 과정에서 이를 512K까지 확장했다고 밝혔습니다. 도구 호출은 OpenAI 함수 호출 형식으로 나가기 때문에, vLLM이나 SGLang 같은 서빙 환경에 별도 접착 코드 없이 그대로 붙습니다.
3B와 8B를 가르는 선
이 릴리스에서 가장 중요한 구분이 여기 있습니다. 8B와 30B 모델은 ‘에이전틱 강화학습(agentic RL)’이라는 추가 훈련 단계를 거칩니다. 실제 샌드박스 환경 안에서 도구를 호출하고, 코드를 짜서 실행하고, 터미널을 다루고, 웹을 검색하는 법을 직접 배우는 과정입니다.
3B는 다릅니다. 도구 호출 자체는 되지만, 이 전문적인 에이전트 훈련은 거치지 않았습니다. 세 모델이 같은 설계와 같은 학습 파이프라인을 공유하되, 에이전트로서 스스로 행동하는 능력은 8B부터 본격적으로 붙는다는 뜻입니다.
왜 중요할까요. 단순히 질문에 답하는 용도라면 작은 3B로 충분할 수 있습니다. 하지만 “내 컴퓨터에서 도구를 쓰고 웹을 뒤지는 에이전트를 돌린다”는 조건으로 넘어가면, 그 능력을 실제로 훈련받은 8B 이상이 후보가 됩니다.
어느 크기를 내 기기에 올릴까
로컬에서 오픈 모델을 돌리려는 사람에게 이 선은 곧 선택 기준이 됩니다. 작은 모델일수록 가벼운 기기에서 빠르게 돌지만, 에이전트답게 도구를 부리는 안정성은 큰 모델이 앞서죠. 3B가 가벼운 응답에 어울린다면, 도구를 엮어 여러 단계를 밟는 작업에는 8B나 30B가 더 미덥습니다.
IBM은 Granite 4.2를 Hugging Face뿐 아니라 Ollama, GitHub 등에서도 받을 수 있게 했습니다. 어떤 크기가 내 작업과 기기에 맞는지는 결국 직접 얹어봐야 알겠지만, 적어도 “도구를 쓰는 에이전트가 필요한가”라는 질문이 3B와 8B 사이에서 판단의 갈림길이 된다는 건 분명합니다.
참고자료:
답글 남기기