Kimi K3는 Moonshot AI가 공개한 2.8T 파라미터급 오픈 모델이다. 100만 토큰 컨텍스트, 네이티브 비전, Kimi Delta Attention(KDA), Attention Residuals, 대규모 MoE 구조를 결합해 장기 코딩, 지식 작업, 연구 자동화, 시각 추론을 겨냥한다.
핵심 스펙
| 항목 | 내용 |
|---|---|
| 총 파라미터 | 2.8T |
| MoE 활성 구조 | 896개 expert 중 16개 활성 |
| 컨텍스트 | 100만 토큰 |
| 주요 아키텍처 | Kimi Delta Attention, Attention Residuals, Stable LatentMoE |
| 제공 경로 | Kimi.com, Kimi Work, Kimi Code, Kimi API |
| 가중치 공개 | 2026년 7월 27일까지 공개 예정이라고 발표 |
Moonshot AI는 K3가 K2 대비 약 2.5배 높은 스케일링 효율을 낸다고 설명한다. 단순히 모델을 키운 것이 아니라 긴 시퀀스와 깊은 네트워크에서 정보 흐름을 유지하는 구조를 함께 바꾼 점이 핵심이다.
무엇이 달라졌나
Kimi K3는 kimi K2.6 계열의 장기 코딩·에이전트 지향성을 더 큰 스케일로 확장한다. 공식 발표에서 강조한 작업은 커널 최적화, GPU 컴파일러 구현, 3D 게임 개발, 칩 설계, 과학 논문 재현, 금융·과학 리서치 사이트 생성처럼 수시간~수일 단위의 복합 작업이다.
특히 커널 최적화 실험에서는 모델이 같은 sandbox 안에서 프로파일링, 코드 수정, 벤치마크를 반복하며 AttnRes, DSA, MLA, KDA 커널을 최적화했다. 이는 코드 생성보다 “실행 결과를 보고 다시 고치는” 하네스 친화적 모델 성능을 보여주는 사례다.
사용 대상
- 대형 코드베이스에서 장시간 자율 코딩 에이전트를 운영하려는 팀
- 100만 토큰 컨텍스트로 문서·로그·레포지토리를 한 번에 다루려는 지식 작업자
- 비전 입력과 코드 실행을 함께 쓰는 게임·프론트엔드·CAD 워크플로
- 오픈 모델을 자체 하네스, agent-harness, model-routing 실험에 넣고 싶은 플랫폼 팀
주의할 점
K3는 발표 시점 기준으로 일부 기술 세부사항과 전체 가중치가 아직 순차 공개 중이다. 또한 “오픈 3T급”이라는 크기는 배포·추론 난이도도 함께 키운다. 실제 도입에서는 토큰 속도, KV 캐시 비용, 모델 라우팅 정책, 긴 컨텍스트에서의 회귀, 도구 호출 안정성을 별도 평가해야 한다.
관련 문서
- kimi — Kimi K2.6 계열의 장기 코딩·에이전트 스웜 특화 모델
- kimi-code — MoonshotAI의 오픈소스 AI 코딩 에이전트 CLI
- agent-harness — 대형 에이전트 모델을 안전하게 실행하는 하네스 설계
- model-routing — 여러 모델을 비용·지연·품질 기준으로 선택하는 운영 문제
참고 자료
- Kimi K3: Open Frontier Intelligence — Moonshot AI (2026-07-17)