North Mini Code는 Cohere가 2026년 6월 공개한 소형 오픈소스 코딩 특화 언어 모델이다. Command A+ 출시로부터 한 달도 채 되지 않아 연이어 발표된 이 모델은, 30B 총 파라미터에 3B 활성 파라미터만 사용하는 MoE(Mixture-of-Experts) 아키텍처로 효율적인 추론과 코딩 성능을 동시에 추구한다.
주요 스펙
| 항목 | 내용 |
|---|---|
| 총 파라미터 | 30B |
| 활성 파라미터 | 3B (MoE 희소 활성화) |
| 모달리티 | 텍스트 전용 |
| 컨텍스트 | 256K total context, 64K max generation |
| 라이선스 | Apache 2.0 |
| 최소 하드웨어 | 1× H100 @ FP8 |
| 추론 속도 (Cohere API) | ~199 output tokens/s |
벤치마크 성능
Artificial Analysis Intelligence Index 기준 27.6점을 기록해, 같은 크기 클래스의 오픈 웨이트 모델들 사이에서 경쟁력 있는 위치에 올랐다.
- 동급 비교: gpt-oss-20B(high) 24.5점보다 높고, Mistral Small 4(119B 총 파라미터, 6.5B 활성) 27.8점에 근접
- Artificial Analysis Coding Index: 33.4점 — GLM-4.7-Flash(25.9)를 크게 상회, Qwen3.6 35B A3B(35.2)에는 소폭 미달
- 에이전틱 태스크: GDPval-AA 14%, τ²-Bench Telecom 37%로 비코딩 에이전틱 작업에서는 상대적으로 낮은 성능
코딩 영역 외 에이전틱 벤치마크에서는 약세를 보이며, 코딩에 특화된 모델임을 수치로 확인할 수 있다.
차별점
기존 소형 MoE 모델 대비 North Mini Code의 강점은 두 가지다.
코딩 특화 최적화: 일반 언어 능력보다 코딩 작업에 집중해 파라미터 효율을 극대화했다. 3B 활성 파라미터만으로도 더 큰 모델과 대등한 코딩 성능을 낸다.
속도: Cohere API에서 초당 약 199 output 토큰을 제공해, 같은 인텔리전스·사이즈 클래스의 여러 오픈 웨이트 모델보다 빠르다.
Cohere 공식 블로그는 Devstral Small 2와 동일 하드웨어·동시성 조건에서 최대 2.8배 높은 output throughput과 30% 낮은 inter-token latency를 보였다고 설명한다. 다만 time-to-first-token은 Devstral Small 2가 일부 조건에서 더 나았다고 밝힌다.
훈련 방법
Cohere 공식 블로그에서 밝힌 훈련 파이프라인은 SFT(지도 미세 조정) 이후 RLVR(Reinforcement Learning from Verifiable Rewards) 단계로 구성된다.
비동기 RL 루프: 코딩 에이전트 롤아웃은 길고 길이 편차가 크다. Burr처럼 느린 시도가 전체 배치를 지연시키는 동기식 루프 문제를 해결하기 위해 학습과 샘플링을 분리했다. vLLM 사이드카가 롤아웃을 연속으로 생성하고, 트레이너는 일정 주기(K=4 스텝)마다 정책 가중치를 내보내는 방식으로 동기화한다.
CISPO 목적 함수: PPO·GRPO 대신 토큰 수준 중요도 샘플링 보정을 적용하는 CISPO 방식을 채택했다. 프롬프트 수준이 아닌 토큰 수준으로 손실을 집계해, 긴 에이전틱 궤적(크레딧 배분 신호가 몰려 있는 구간)이 짧은 궤적에 비해 가중치가 줄어드는 문제를 방지한다.
복수 하네스 학습: SWE-Bench와 Terminal-Bench v2 환경을 동시에 훈련해 특정 스캐폴드에 과적합하지 않도록 했다. 단일 환경 학습 대비 분포 외 태스크 일반화 성능이 향상됐다. RLVR 적용 후 Terminal-Bench v2 pass@1 +7.9%p, SWE-Bench +3.0%p (절댓값) 향상을 달성했다.
시작하기
# HuggingFace에서 가중치 직접 다운로드 (BF16 또는 FP8)
# BF16: CohereLabs/North-Mini-Code-1.0
# FP8 (양자화): CohereLabs/North-Mini-Code-1.0-fp8- OpenCode: 에이전트 코딩 도구로 바로 사용 가능 — 복수 스캐폴드 학습으로 OpenCode 환경에 최적화
- Cohere API:
command-r-plus등 기존 Cohere API와 동일한 방식으로 호출
사용 대상
- 코딩 보조 도구나 코드 생성 파이프라인을 구축하는 개발자
- 로컬 또는 자체 서버에서 경량 코딩 모델을 운용하려는 팀
- OpenCode 기반 에이전트 코딩 환경을 구축하는 프로젝트
- Apache 2.0 라이선스로 상업적 활용이 필요한 프로젝트
라이선스
Apache 2.0 — 상업적 사용, 수정, 재배포 모두 허용.
참고 자료
- North Mini Code: Cohere’s Small Coding-Focused MoE Model — Artificial Analysis (2026-06-09)
- North Mini Code: Agentic Coding Model for Developers — Cohere (2026-06-09)
- Introducing North Mini Code: Cohere’s First Model For Developers — Cohere on HuggingFace (2026-06)
- North Mini Code and Agentic Coding Benchmarks — Sebastian Raschka (2026-06-12)