AI Sparkup

최신 AI 쉽게 깊게 따라잡기⚡

Kimi K3 – 2.8T 파라미터와 100만 토큰 컨텍스트를 갖춘 오픈 프론티어 모델

Kimi K3는 Moonshot AI가 공개한 2.8T 파라미터급 오픈 모델이다. 100만 토큰 컨텍스트, 네이티브 비전, Kimi Delta Attention(KDA), Attention Residuals, 대규모 MoE 구조를 결합해 장기 코딩, 지식 작업, 연구 자동화, 시각 추론을 겨냥한다.

핵심 스펙

항목내용
총 파라미터2.8T
MoE 활성 구조896개 expert 중 16개 활성
컨텍스트100만 토큰
주요 아키텍처Kimi Delta Attention, Attention Residuals, Stable LatentMoE
제공 경로Kimi.com, Kimi Work, Kimi Code, Kimi API
가중치 공개2026년 7월 27일까지 공개 예정이라고 발표

Moonshot AI는 K3가 K2 대비 약 2.5배 높은 스케일링 효율을 낸다고 설명한다. 단순히 모델을 키운 것이 아니라 긴 시퀀스와 깊은 네트워크에서 정보 흐름을 유지하는 구조를 함께 바꾼 점이 핵심이다.

무엇이 달라졌나

Kimi K3는 kimi K2.6 계열의 장기 코딩·에이전트 지향성을 더 큰 스케일로 확장한다. 공식 발표에서 강조한 작업은 커널 최적화, GPU 컴파일러 구현, 3D 게임 개발, 칩 설계, 과학 논문 재현, 금융·과학 리서치 사이트 생성처럼 수시간~수일 단위의 복합 작업이다.

특히 커널 최적화 실험에서는 모델이 같은 sandbox 안에서 프로파일링, 코드 수정, 벤치마크를 반복하며 AttnRes, DSA, MLA, KDA 커널을 최적화했다. 이는 코드 생성보다 “실행 결과를 보고 다시 고치는” 하네스 친화적 모델 성능을 보여주는 사례다.

사용 대상

  • 대형 코드베이스에서 장시간 자율 코딩 에이전트를 운영하려는 팀
  • 100만 토큰 컨텍스트로 문서·로그·레포지토리를 한 번에 다루려는 지식 작업자
  • 비전 입력과 코드 실행을 함께 쓰는 게임·프론트엔드·CAD 워크플로
  • 오픈 모델을 자체 하네스, agent-harness, model-routing 실험에 넣고 싶은 플랫폼 팀

주의할 점

K3는 발표 시점 기준으로 일부 기술 세부사항과 전체 가중치가 아직 순차 공개 중이다. 또한 “오픈 3T급”이라는 크기는 배포·추론 난이도도 함께 키운다. 실제 도입에서는 토큰 속도, KV 캐시 비용, 모델 라우팅 정책, 긴 컨텍스트에서의 회귀, 도구 호출 안정성을 별도 평가해야 한다.

관련 문서

  • kimi — Kimi K2.6 계열의 장기 코딩·에이전트 스웜 특화 모델
  • kimi-code — MoonshotAI의 오픈소스 AI 코딩 에이전트 CLI
  • agent-harness — 대형 에이전트 모델을 안전하게 실행하는 하네스 설계
  • model-routing — 여러 모델을 비용·지연·품질 기준으로 선택하는 운영 문제

참고 자료



AI Sparkup 구독하기

최신 게시물 요약과 더 심층적인 정보를 이메일로 받아 보세요! (무료)