같은 모델을 두고 정반대 성적표가 나왔습니다. 한쪽 순위표에서는 Claude Fable 5와 GPT-5.6 Sol을 제치고 1등을 차지했습니다. 다른 순위표에서는 같은 상대들에게 절반도 안 되는 점수로 크게 뒤졌습니다. 둘 다 이번 주 공개된 Kimi K3 얘기입니다.

Moonshot AI의 오픈모델 Kimi K3가 서구 AI 업계에서 큰 관심을 받고 있습니다. 관건은 이 모델이 실제로 최상위 서구 모델과 얼마나 가까운가입니다. 최근 나온 벤치마크 결과들이 서로 다른 그림을 그리고 있습니다.

출처: Moonshot’s Kimi K3 outperforms Fable 5 in frontend code but lags far behind in complex math – The Decoder

중국 모델 최초, 프론트엔드 코드 1위

사람의 선호도 평가를 기반으로 순위를 매기는 Code Arena: Frontend 벤치마크에서, Kimi K3는 1,679점을 받았습니다. Claude Fable 5(1,631점)와 GPT-5.6 Sol(1,618점)을 포함해 테스트된 모든 모델을 크게 앞선 수치입니다. 중국계 모델이 이 벤치마크에서 1위를 차지한 건 이번이 처음입니다.

이 벤치마크는 실제 사람들이 두 모델이 만든 프론트엔드 코드 결과물을 보고 어느 쪽이 더 나은지 직접 골라 순위를 매기는 방식입니다. 벤치마크 수치가 아니라 사람의 실제 판단이 쌓여 만들어진 순위죠. 단순 정확도 테스트와는 결이 다릅니다.

반대편 극단, 고난도 수학은 39점

그런데 어려운 수학 문제로 넘어가면 그림이 완전히 달라집니다. Epoch AI가 집계한 데이터에 따르면, Kimi K3는 FrontierMath Tier 4에서 정확도 39% 정도를 기록했습니다. Tier 4는 이 벤치마크에서 가장 어려운, 연구자 수준의 전문가급 수학 문제로 구성돼 있습니다. 같은 문제에서 OpenAI와 Anthropic의 모델은 경우에 따라 90%에 가까운 점수를 냅니다.

두 배 넘게 벌어진 격차입니다. 프론트엔드 코드에서는 앞서 나간 모델이, 고난도 수학적 추론에서는 서구 최상위 모델에 한참 못 미치는 것.

똑똑해질수록, 더 자주 틀리기도 한다

에이전틱 지식노동 능력을 보는 또 다른 지표에서는 세 번째 그림이 나옵니다. 리서치 기관 Artificial Analysis가 자체 평가(AA-Omniscience)로 측정한 결과, Kimi K3의 정답 정확도는 이전 모델 K2.6의 33%에서 46%로 올랐습니다. 뚜렷한 개선입니다.

그런데 같은 평가에서 환각률도 함께 올랐습니다. K2.6의 39%에서 K3는 51%로 뛰었습니다. 더 정확해졌지만, 동시에 더 자주 틀린 내용을 사실처럼 말하게 됐다는 뜻입니다. 정확도와 환각률이 같은 방향으로 움직인 셈이라, 어느 한쪽 수치만 보고 “좋아졌다”고 판단하기는 어렵습니다.

에이전틱 작업 자체의 역량은 뚜렷하게 늘었습니다. 실제 업무 시나리오를 종합적으로 평가하는 GDPval-AA v2에서 Kimi K3는 Elo 1668을 기록해 K2.6(1190)보다 크게 올랐고, GLM-5.2와 GPT-5.5, Claude Opus 4.8을 앞섰습니다. Zapier의 업무 자동화 워크플로를 흉내 낸 AutomationBench-AA에서는 53%로 1위를 차지했습니다. 다만 이런 능력치 상승과 별개로, 환각률이 함께 오른 지점은 실무에 투입할 때 따로 검증해야 할 부분으로 남습니다.

순위표가 알려주지 않는 것

개발자 사이먼 윌리슨은 Kimi K3를 자신의 방식대로 직접 테스트해봤습니다. “자전거 타는 펠리컨을 그려달라”는 프롬프트로 SVG 이미지를 생성시키는, 그가 21개월째 여러 모델에 반복해온 테스트입니다. 결과물은 그럴듯했고, 비용은 25센트에 그쳤습니다.

윌리슨은 이 테스트가 한때는 모델의 실제 실력과 꽤 잘 맞아떨어졌다고 말합니다. 하지만 최근 들어 그 연결고리는 많이 느슨해졌습니다. GPT-5.6이나 Claude Fable 5의 펠리컨 그림은 GLM-5.2에게 밀리는데, 그렇다고 GLM-5.2가 Fable급 모델이라고는 보기 어렵기 때문입니다.

윌리슨이 짚은 더 근본적인 한계는 따로 있습니다. 펠리컨 그리기 같은 단발성 테스트는 요즘 모델을 평가할 때 정말 중요한 요소, 그러니까 대화가 길어질 때도 도구 호출을 얼마나 안정적으로 해내는가를 전혀 건드리지 못한다는 것. 프론트엔드 코드 순위나 수학 정확도도 마찬가지입니다. 각각은 특정 영역에서의 실력을 보여줄 뿐, 실제 업무에서 장시간 에이전트로 굴렸을 때의 안정성까지 알려주지는 않죠.

결국 Kimi K3의 여러 성적표는 이 모델이 좋다거나 나쁘다는 결론으로 정리되지 않습니다. 어떤 작업에 쓸 것인지에 따라 완전히 다른 답이 나올 수 있다는 뜻에 더 가깝습니다. 프론트엔드 코드 작업이 많다면 눈여겨볼 만한 결과지만, 복잡한 수학적 추론이 핵심인 작업이거나 사실 정확성이 중요한 작업이라면 아직은 격차와 환각 위험을 함께 감안해야 합니다.

참고자료:

• Kimi K3, and what we can still learn from the pelican benchmark – Simon Willison
• Kimi K3 achieves #3 in the Artificial Analysis Intelligence Index – Artificial Analysis