1.56테라바이트. 중국 문샷AI가 공개한 Kimi K3 모델 가중치 파일의 크기입니다. 역대 오픈웨이트 모델 중 가장 큰 규모인데, 정작 문샷AI는 이걸 “오픈소스”라고 부르지 않죠.

문샷AI가 2.8조 파라미터 모델 Kimi K3의 가중치와 기술보고서를 정식 공개했습니다. 고성능 어텐션 커널, MoE(전문가 혼합) 통신 라이브러리 등 인프라 일부도 함께 오픈소스로 풀었죠. 이미 지난 7월 중순 공개 예고 이후 프론티어 모델과 맞먹는 벤치마크 성적으로 화제를 모았던 모델이, 이제 실제로 다운로드 가능해진 겁니다.

출처: moonshotai/Kimi-K3 – Moonshot AI (Hugging Face)

효율을 향해 다시 설계된 구조

Kimi K3는 완전히 새로운 모델이 아닙니다. AI 연구자 세바스찬 라슈카는 이 모델을 두고 “작년에 나온 킴 리니어(Kimi Linear, 48B) 모델을 2.8조 파라미터로 키운 프로덕션 버전”이라고 설명하죠. 몸집만 키운 것도 아닙니다. 구조 곳곳이 효율을 높이는 쪽으로 바뀐 겁니다.

가장 눈에 띄는 신규 구성요소는 레이턴트MoE(LatentMoE)입니다. 거대한 선형 레이어를 압축해서 계산량을 줄이는 방식으로, 엔비디아의 네모트론3 울트라에도 쓰인 기법과 같은 계열이죠. 여기에 어텐션 잔차(Attention Residuals)라는 장치도 새로 들어갔습니다. 레이어를 건너뛰며 정보를 전달하는 잔차 연결에, 얼마나 중요한 정보인지를 가늠하는 어텐션 점수를 붙인 겁니다. 기술보고서에 따르면 이 장치 하나로 학습 비용은 4%, 추론 비용은 2% 늘어나는 대신 검증 손실과 다운스트림 성능은 꾸준히 개선된다고 합니다.

위치 정보를 다루는 방식도 눈여겨볼 대목입니다. Kimi K3는 토큰의 순서를 알려주는 위치 임베딩(RoPE)을 아예 쓰지 않습니다. 전 구간에서 노페(NoPE, 위치 임베딩 없음) 방식만 사용하죠. 최근 다른 모델들은 지역적인 어텐션에는 RoPE를, 전역 어텐션에는 노페를 섞어 쓰는 추세였습니다. 이 흐름과 비교하면 상당히 이례적인 선택입니다.

라슈카는 프론티어급 모델 중 이렇게 전 구간 노페를 채택한 사례는 처음이라고 짚었습니다. 여기에 네이티브 멀티모달 지원까지 더해지면서, Kimi K3는 몸집과 구조 모두에서 최근 오픈웨이트 모델들의 “효율화” 흐름을 가장 앞서 보여주는 사례가 됐네요.

‘오픈소스’라 부르지 않는 이유

정작 이번 공개에서 가장 눈여겨볼 부분은 기술이 아니라 라이선스입니다. 지난해 K2를 낼 때 문샷AI는 MIT 라이선스를 살짝 수정해서 썼습니다. 월간 이용자 1억 명이나 월 매출 2천만 달러를 넘는 기업은 제품 화면에 “Kimi K2″라는 표기를 넣어야 한다는 조항 하나만 추가한 정도였죠.

K3의 라이선스는 한 걸음 더 나아갔습니다. 이번엔 스스로를 “수정된 MIT”라고도 부르지 않죠. 대신 연매출이 12개월 연속 2천만 달러를 넘는 “모델 as a 서비스” 사업자는 상업적 목적으로 쓰기 전에 문샷AI와 별도 계약을 맺어야 한다는 조항이 새로 생겼습니다. 개인 개발자나 소규모 프로젝트에는 여전히 무료지만, 이 모델로 돈을 버는 서비스를 키우려는 기업이라면 이야기가 달라지는 겁니다.

주목할 점은 문샷AI 스스로 이걸 “오픈소스”라고 포장하지 않는다는 것. 공식 자료 어디서도 오픈소스라는 표현을 쓰지 않고, 일관되게 “오픈웨이트”라는 말만 사용합니다. 가중치는 공개하지만 상업적 자유까지 무제한으로 열어주는 건 아니라는 걸 스스로 인정하는 셈이죠.

이미 오픈라우터에서는 7개 제공업체가 K3를 서비스하고 있습니다. 가격은 대부분 문샷AI 자체 책정치(입력 100만 토큰당 3달러, 출력 100만 토큰당 15달러)와 비슷한 수준으로 맞춰져 있네요.

성능을 둘러싼 잡음도 있습니다. 영국 사이버연구소의 독립 테스트에서는 K3의 사이버보안 역량이 프론티어 모델에 크게 못 미친다는 결과가 나왔습니다. 복잡한 수학 문제에서도 비슷한 격차가 확인됐죠. 이런 특정 영역에서의 약점이 다른 모델의 결과물을 학습에 활용하는 증류(distillation) 기법을 썼다는 의혹으로 이어지고 있지만, 아직 명확히 확인된 사실은 아닙니다.

참고자료:

• Kimi K3 Architecture Notes – Sebastian Raschka
• moonshotai/Kimi-K3 (링크 블로그) – Simon Willison
• Moonshot AI releases Kimi K3 open weights and infrastructure after shaking up the frontier model race – The Decoder