한 개발자는 중국 모델 Kimi K3와 Claude를 나란히 코딩 업무에 써보고, 둘을 구분하지 못했다고 말합니다. 비슷한 시점에 백악관 과학자문은 정반대 이야기를 꺼냈습니다. Kimi K3가 Anthropic의 Fable 모델을 몰래 베껴서 만들어졌다는 주장이었습니다. 같은 모델을 두고 한쪽은 “차이를 못 느꼈다”고 하고, 다른 쪽은 “훔쳤다”고 말하는 셈입니다.
AI 인프라 기업 Together AI가 소프트웨어 엔지니어링 벤치마크 DeepSWE로 두 모델을 직접 비교했습니다. 같은 시기 백악관 과학자문 마이클 크라시오스는 Kimi K3의 개발사 문샷이 수출 규제 대상 칩을 쓰면서 Fable을 부정한 방법으로 베꼈다고 주장했습니다. TechCrunch는 이 주장에 AI 연구자들이 회의적인 반응을 보였다고 취재했습니다.
출처:
- Kimi K3 vs Claude Fable 5 on DeepSWE: Cost and Coding – Together AI
- Experts say exploiting Anthropic’s Fable isn’t how Kimi K3 got so good – TechCrunch
벤치마크로 보면 둘은 얼마나 비슷한가
Together AI는 실제 오픈소스 저장소에서 가져온 113개의 기능 요청을 각 모델에 4번씩 풀게 했습니다. 첫 시도에서 정답을 맞히는 비율(pass@1)은 Fable 5가 69.9%, Kimi K3가 68.5%로 1.4점 차이에 불과했습니다.
그런데 시도 횟수를 늘리면 순위가 뒤집힙니다. 두 번 시도해서 한 번이라도 맞히면 되는 pass@2에서는 Kimi K3가 82.0%로 Fable 5의 80.2%를 앞서죠. 네 번 시도하는 pass@4에서는 격차가 89.4% 대 88.5%로 더 벌어집니다. Kimi K3는 더 많은 문제를 적어도 한 번은 풀어내는 “커버리지”가 넓은 대신, 네 번 다 맞히는 “신뢰도”는 76.6%로 Fable 5의 79.0%보다 낮습니다. 쉽게 말해 Fable 5는 더 꾸준하고, Kimi K3는 더 넓게 던지는 쪽이죠.
비용 차이는 품질 차이보다 훨씬 뚜렷합니다. 작업 하나를 풀어내는 데 드는 비용이 Kimi K3는 4.65달러, Fable 5는 13.41달러로 거의 세 배 차이가 나죠. 실사용 후기도 이 흐름과 맞닿아 있습니다. 개발자 스티븐 보친스키는 두 모델을 같은 코딩 작업에 나란히 돌려본 뒤 “품질도, 답에 도달하기까지 쓰는 토큰 양도 거의 구분이 안 됐다”고 적었습니다. 오픈모델이라 더 허술할 거라 예상했는데, 둘 다 빗나간 셈입니다.
“베꼈다”는 주장, 전문가들은 왜 회의적인가
크라시오스는 문샷이 대규모로 Fable을 몰래 증류(distillation)했다고 주장했습니다. 증류란 다른 모델에게 질문을 던져 그 답변 방식을 학습 데이터로 삼아 비슷한 성능을 흉내 내는 기법이죠. 재무장관 스콧 베센트도 “중국 모델들에서 미국 모델의 워터마크가 발견된다”고 거들었지만, 그 워터마크가 정확히 무엇인지는 밝히지 않았습니다.
AI 연구자 브레이든 행콕은 시점부터 앞뒤가 맞지 않는다고 지적했습니다. Fable은 7월 1일에야 공개됐는데, 2주 만에 그만큼 방대한 데이터를 증류하고 새 모델을 학습시켜 출시하는 건 물리적으로 불가능하다는 겁니다. 앨런 AI 연구소의 네이선 램버트는 다른 이유를 덧붙였습니다. 중국 모델들이 점점 강화학습 중심 훈련으로 옮겨가면서, 증류 자체의 효과가 갈수록 줄어들고 있다는 설명입니다. 증류로 정말 그만큼 성능을 따라잡을 수 있다면 다른 연구팀들도 벌써 같은 방식으로 따라잡았어야 하는데, 그런 사례는 아직 나오지 않고 있습니다.
결국 독자가 고를 때 봐야 할 건 따로 있다
정치적 논쟁과 별개로, 실제 사용 판단에 필요한 정보는 벤치마크 수치 안에 이미 담겨 있습니다. 단순한 코딩 작업이라면 품질 차이는 사실상 무시할 만한 수준이고, 비용은 Kimi K3 쪽이 확실히 유리하죠. 다만 실패가 용납되지 않는 중요한 작업, 그러니까 네 번 시도해서 네 번 다 맞아야 하는 상황이라면 이야기가 달라집니다. Fable 5의 신뢰도가 여전히 조금 더 높기 때문입니다.
베꼈는지 아닌지를 둘러싼 논쟁은 당분간 결론이 나기 어려워 보입니다. 하지만 그 논쟁과 무관하게, 어떤 모델을 쓸지는 이미 벤치마크가 답을 주고 있는 셈입니다.
참고자료: The Kimi K3 Moment – Stephen Bochinski
답글 남기기