2년 전만 해도 오픈 웨이트 모델과 폐쇄형 모델 사이의 성능 격차는 8%가 넘었습니다. 지금은 영역에 따라 거의 사라진 곳도, 다시 벌어진 곳도 있죠. 그런데 정작 요즘 개발자들 사이에서 오가는 진짜 승부는 모델 성능이 아닌 다른 곳에서 갈리고 있습니다.

Mozilla가 매년 오픈소스 AI 생태계를 진단하는 리포트 ‘The State of Open Source AI’의 2026년판을 내놨습니다. 방대한 데이터 속에서 몇 가지 뚜렷한 흐름이 보입니다.

출처: The State of Open Source AI — V1.0 – Mozilla

격차는 좁혀졌는데, 왜 아직 다들 못 쓰고 있나

수치부터 보죠. 오픈-폐쇄 모델의 성능 격차는 2024년 초 8.04%에서 2024년 8월 0.5%까지 좁혀졌습니다. 2025년 2월엔 DeepSeek-R1이 잠깐 최상위 모델을 따라잡기도 했습니다. 지금은 3.3%로 다시 벌어졌지만, 이건 평균값일 뿐입니다. 코딩이나 일반 지식 영역에서는 이미 동률에 가깝고, 격차는 추론과 장문 맥락 처리 같은 특정 영역에 몰려 있습니다.

추론 비용도 극적으로 떨어졌습니다. GPT-4급 성능을 내는 데 드는 비용이 36개월 만에 100만 토큰당 20달러에서 0.40달러로, 40분의 1 수준까지 낮아졌습니다. 실제로 지금 오픈라우터(OpenRouter)에서 오간 토큰의 절반 이상이 오픈 웨이트 모델을 거칩니다. 사용량 상위 5개 모델이 전부 오픈모델일 정도죠.

그런데 여기서 의문이 하나 생깁니다. 성능도 비슷하고 값도 싼데, 왜 다들 여전히 폐쇄형 모델에 기대는 걸까요.

Mozilla가 개발자 1,400여 명을 설문한 결과가 답을 줍니다. AI 기능을 새로 넣는 개발자 중 오픈모델을 쓰는 비율은 79%로, 폐쇄형(71%)보다 오히려 높죠. 그런데 이 프로젝트가 실제 서비스로 나가는 비율은 정반대입니다.

오픈모델 팀은 51%만 프로덕션에 도달합니다. 폐쇄형 모델 팀은 63%까지 갑니다. 성능 문제가 아니라는 게 이 조사의 결론입니다. 인프라 비용, 유지보수, 배포 복잡도 같은 운영상의 걸림돌이 발목을 잡고 있었던 겁니다.

승부는 모델이 아니라 그 위 레이어로 옮겨갔다

모델 자체의 격차가 좁혀지고 있다면, 다음 질문은 자연스럽습니다. 그럼 지금 실제로 성능 차이를 만드는 건 뭘까요.

Mozilla는 그 답을 ‘하네스(harness)’에서 찾습니다. 하네스란 모델을 실제로 굴리는 오케스트레이션 도구, 즉 어떤 도구를 언제 호출하고 결과를 어떻게 판단할지 관리하는 계층을 말합니다. 같은 모델이라도 이 하네스가 어떻게 짜였느냐에 따라 실제 작업 성공률이 크게 달라진다는 게 이 리포트가 강조하는 지점입니다.

실제 사례가 있습니다. 코딩 에이전트 벤치마크인 터미널벤치(Terminal-Bench) 2.0에서, 제3자가 만든 범용 스캐폴딩(하네스)이 Anthropic 자체 모델을 굴렸을 때 79.8%의 성공률을 냈습니다. 반면 Anthropic 자체 도구인 Claude Code로 같은 모델을 굴렸을 땐 58.0%에 그쳤죠. 같은 모델인데도 21.8점 차이가 난 겁니다.

이 결과가 알려지자 프론티어 랩들은 하네스를 자체적으로 끌어안기 시작했습니다. 8주 뒤 나온 터미널벤치 2.1에서는 이 격차가 3점 수준까지 좁혀졌네요. 랩이 모델과 도구를 한 몸으로 만들어버린 셈입니다.

문제는 이렇게 하네스가 특정 모델에 맞춰 최적화될수록, 다른 모델로 바꾸기가 점점 어려워진다는 점입니다. 최적화가 곧 잠금(lock-in)이 되는 셈이죠. 오픈모델 진영에는 이런 자체 하네스가 없어서, 공식 벤치마크 상위권에 오픈모델이 하나도 없는 상태입니다.

다만 모든 모델을 동일한 중립적 하네스 위에 올려놓고 비교하면 이 격차는 다시 몇 점 수준으로 줄어듭니다. 지금 벌어진 격차는 모델 실력 차이가 아니라, 어떤 도구 위에서 굴렸는지의 차이였던 셈입니다.

오픈모델을 밀어붙이는 진짜 이유

여기까지는 성능과 비용, 도구 얘기였습니다. 그런데 이 리포트는 오픈모델이 확산되는 진짜 동력이 단순한 저비용이 아니라고 말합니다. 바로 ‘이탈 가능성’입니다.

리포트가 드는 사례가 인상적입니다. 2026년 6월, 한 국가의 수출 규제 명령 하나로 Claude Fable 5에 대한 전 세계 이용자의 접근이 한꺼번에 막힌 일이 있었습니다. 어느 나라도 이 결정에 대해 상의받지 못했고, 선택적으로 대응할 방법도 없었습니다. 이 모델 위에 서비스를 쌓아 올린 기업들은 아무 예고 없이 서비스가 끊기는 상황을 그대로 떠안았습니다.

폐쇄형 API를 쓴다는 건 이런 위험을 함께 떠안는다는 뜻입니다. 반면 오픈 웨이트 모델은 한번 내려받으면 누구도 원격으로 꺼버릴 수 없죠.

리포트는 이 차이를 클라우드 탈출 사례에 빗댑니다. 아마존 S3에서 데이터 1페타바이트를 옮기는 데 9만~12만 달러가 듭니다. 기업의 80%가 이미 클라우드 워크로드를 자체 서버로 되돌리고 있다는 수치도 함께 제시하네요. 벤더에게 종속된 채 가격 정책 변화를 그대로 받아들여야 하는 구조, 클라우드에서도 AI 모델에서도 똑같이 반복되고 있다는 지적입니다.

정리하면 이렇습니다. 모델 성능 격차는 이제 부차적인 문제가 됐습니다. 진짜 격차는 그 모델을 실제로 프로덕션까지 옮기는 운영 역량, 그리고 모델 위에서 작동하는 하네스에서 벌어지고 있습니다. 오픈모델을 선택하는 이유도 단순히 저렴해서가 아니라, 언제든 떠날 수 있는 자유를 쥐고 있느냐의 문제로 바뀌고 있습니다.