AI Sparkup

최신 AI 쉽게 깊게 따라잡기⚡

North Mini Code – Cohere의 소형 코딩 특화 MoE 모델

North Mini Code는 Cohere가 2026년 6월 공개한 소형 오픈소스 코딩 특화 언어 모델이다. Command A+ 출시로부터 한 달도 채 되지 않아 연이어 발표된 이 모델은, 30B 총 파라미터에 3B 활성 파라미터만 사용하는 MoE(Mixture-of-Experts) 아키텍처로 효율적인 추론과 코딩 성능을 동시에 추구한다.

주요 스펙

항목내용
총 파라미터30B
활성 파라미터3B (MoE 희소 활성화)
모달리티텍스트 전용
컨텍스트256K total context, 64K max generation
라이선스Apache 2.0
최소 하드웨어1× H100 @ FP8
추론 속도 (Cohere API)~199 output tokens/s

벤치마크 성능

Artificial Analysis Intelligence Index 기준 27.6점을 기록해, 같은 크기 클래스의 오픈 웨이트 모델들 사이에서 경쟁력 있는 위치에 올랐다.

  • 동급 비교: gpt-oss-20B(high) 24.5점보다 높고, Mistral Small 4(119B 총 파라미터, 6.5B 활성) 27.8점에 근접
  • Artificial Analysis Coding Index: 33.4점 — GLM-4.7-Flash(25.9)를 크게 상회, Qwen3.6 35B A3B(35.2)에는 소폭 미달
  • 에이전틱 태스크: GDPval-AA 14%, τ²-Bench Telecom 37%로 비코딩 에이전틱 작업에서는 상대적으로 낮은 성능

코딩 영역 외 에이전틱 벤치마크에서는 약세를 보이며, 코딩에 특화된 모델임을 수치로 확인할 수 있다.

차별점

기존 소형 MoE 모델 대비 North Mini Code의 강점은 두 가지다.

코딩 특화 최적화: 일반 언어 능력보다 코딩 작업에 집중해 파라미터 효율을 극대화했다. 3B 활성 파라미터만으로도 더 큰 모델과 대등한 코딩 성능을 낸다.

속도: Cohere API에서 초당 약 199 output 토큰을 제공해, 같은 인텔리전스·사이즈 클래스의 여러 오픈 웨이트 모델보다 빠르다.

Cohere 공식 블로그는 Devstral Small 2와 동일 하드웨어·동시성 조건에서 최대 2.8배 높은 output throughput과 30% 낮은 inter-token latency를 보였다고 설명한다. 다만 time-to-first-token은 Devstral Small 2가 일부 조건에서 더 나았다고 밝힌다.

훈련 방법

Cohere 공식 블로그에서 밝힌 훈련 파이프라인은 SFT(지도 미세 조정) 이후 RLVR(Reinforcement Learning from Verifiable Rewards) 단계로 구성된다.

비동기 RL 루프: 코딩 에이전트 롤아웃은 길고 길이 편차가 크다. Burr처럼 느린 시도가 전체 배치를 지연시키는 동기식 루프 문제를 해결하기 위해 학습과 샘플링을 분리했다. vLLM 사이드카가 롤아웃을 연속으로 생성하고, 트레이너는 일정 주기(K=4 스텝)마다 정책 가중치를 내보내는 방식으로 동기화한다.

CISPO 목적 함수: PPO·GRPO 대신 토큰 수준 중요도 샘플링 보정을 적용하는 CISPO 방식을 채택했다. 프롬프트 수준이 아닌 토큰 수준으로 손실을 집계해, 긴 에이전틱 궤적(크레딧 배분 신호가 몰려 있는 구간)이 짧은 궤적에 비해 가중치가 줄어드는 문제를 방지한다.

복수 하네스 학습: SWE-Bench와 Terminal-Bench v2 환경을 동시에 훈련해 특정 스캐폴드에 과적합하지 않도록 했다. 단일 환경 학습 대비 분포 외 태스크 일반화 성능이 향상됐다. RLVR 적용 후 Terminal-Bench v2 pass@1 +7.9%p, SWE-Bench +3.0%p (절댓값) 향상을 달성했다.

시작하기

# HuggingFace에서 가중치 직접 다운로드 (BF16 또는 FP8)
# BF16: CohereLabs/North-Mini-Code-1.0
# FP8 (양자화): CohereLabs/North-Mini-Code-1.0-fp8
  • OpenCode: 에이전트 코딩 도구로 바로 사용 가능 — 복수 스캐폴드 학습으로 OpenCode 환경에 최적화
  • Cohere API: command-r-plus 등 기존 Cohere API와 동일한 방식으로 호출

사용 대상

  • 코딩 보조 도구나 코드 생성 파이프라인을 구축하는 개발자
  • 로컬 또는 자체 서버에서 경량 코딩 모델을 운용하려는 팀
  • OpenCode 기반 에이전트 코딩 환경을 구축하는 프로젝트
  • Apache 2.0 라이선스로 상업적 활용이 필요한 프로젝트

라이선스

Apache 2.0 — 상업적 사용, 수정, 재배포 모두 허용.

참고 자료



AI Sparkup 구독하기

최신 게시물 요약과 더 심층적인 정보를 이메일로 받아 보세요! (무료)