GPT-4는 종합 성능 지표인 Epoch Capabilities Index(ECI)에서 1위 자리를 약 1년간 지켰습니다. 그 뒤로 어떤 모델도 이만큼 오래 버티지 못했습니다. 요즘 1위 모델의 평균 재임 기간은 7주에 불과합니다.

Epoch AI 연구원 Jaeho Lee에 따르면, GPT-4는 2023년 3월 출시 이후 352일간 1위를 지켰습니다. 2024년 2월 Claude 3 Opus가 끌어내린 이후로는 지금까지 17번이나 1위가 바뀌었습니다. 그나마 가장 오래 버틴 모델은 OpenAI의 o1로 98일, 그러니까 GPT-4의 3분의 1에도 못 미치는 기간이었습니다.

출처: GPT-4 led in ECI far longer than any other model – Epoch AI

빨라진 경쟁, 작아진 도약

이 그래프는 두 가지로 읽을 수 있습니다. 하나는 GPT-4가 등장 당시 얼마나 압도적이었는지 보여주는 기록입니다. 경쟁 랩들이 따라잡는 데 그만큼 오래 걸렸다는 뜻이니까요. 다른 하나는 그 이후 경쟁이 훨씬 치열해졌다는 신호입니다. 이제 어떤 모델도 GPT-4만큼 긴 우위를 유지하지 못합니다.

다만 흥미로운 지점은 순위 교체가 잦아진 대신, 모델과 모델 사이의 성능 도약 폭 자체는 오히려 줄어들고 있다는 겁니다. 2024년 가을 o1-preview 같은 추론 모델이 등장한 이후로, 새 모델이 이전 모델을 앞서는 간격은 짧아졌지만 그 차이는 더 작아졌습니다. 왕좌는 자주 바뀌지만, 왕좌에 앉는 순간의 격차는 점점 좁아지고 있다는 뜻입니다.

순위 다툼 밑에 깔린 두 번째 전쟁, 가격

같은 시기 또 다른 숫자가 이 경쟁의 결을 보여줍니다. CNBC 보도에 따르면 중국 AI 모델들이 가격 경쟁력을 무기로 미국 기업들 사이에서 입지를 넓히고 있습니다. OpenRouter 플랫폼에서 중국 모델의 트래픽 비중은 지난해 평균 11%에 그쳤지만, 올해 2월 8일 이후로는 매주 30%를 꾸준히 넘기고 있고 한때 46%까지 올라갔습니다.

출처: Chinese AI models regularly pass 30 percent on OpenRouter as cost gap widens – The Decoder (원 보도: CNBC)

OpenRouter 직원 Justin Summerville은 중국 오픈소스 모델이 미국 모델보다 60~90% 저렴하다고 설명합니다. 스타트업 Lindy는 아예 모든 트래픽을 Anthropic의 Claude에서 DeepSeek으로 옮겼는데, CEO Flo Crivello는 이 전환으로 수백만 달러를 아낀다고 밝혔습니다.

그렇다고 성능 격차가 사라진 건 아닙니다. 브루킹스 연구소의 Kyle Chan은 중국과 미국 모델의 격차를 6~9개월로 추산합니다. 미국 정부 산하 AI 표준혁신센터(CAISI)가 5월에 발표한 평가에서도 사이버보안, 소프트웨어 개발, 수학, 과학, 추상적 추론 전반에서 중국 모델이 약 8개월 뒤처진다는 결과가 나왔습니다.

두 숫자가 같은 곳을 가리킨다

1위 자리를 지키는 기간이 1년에서 7주로 줄어든 것과, 중국 모델이 가격을 무기로 트래픽 점유율을 11%에서 30%대로 끌어올린 것은 서로 다른 이야기처럼 보입니다. 하지만 둘 다 같은 방향을 가리킵니다. 최상위권 모델 사이의 절대 우위가 예전만큼 오래가지 않는다는 겁니다. 성능에서든 가격에서든, 지금 선두를 차지한 자리는 다음 분기에 그대로 있을 거라고 장담하기 어려워졌습니다.

참고자료: GPT-4’s dominance lasted a year while today’s top models barely survive seven weeks at the top