지금까지 AI 모델을 고르는 기준은 명확했습니다. 얼마나 똑똑한가. 벤치마크 점수가 높을수록, 추론 능력이 뛰어날수록 더 좋은 모델이라는 공식이었죠. 그런데 소프트웨어 엔지니어 마틴 알더슨은 최근 이 공식이 자신에게 더 이상 맞지 않는다고 말합니다. 그가 매일 쓰는 모델을 고르는 기준은 이제 지능이 아니라 속도입니다.

계기는 우연이었습니다. 신모델 Fable이 나왔을 때 다들 기대에 부풀었지만, 정작 써보니 가드레일이 잔뜩 붙어 반응이 느렸습니다. 알더슨은 며칠 지나지 않아 예전에 쓰던 Opus로 돌아갔습니다. 더 똑똑한 모델이 나왔는데도 느리다는 이유만으로 이전 모델을 다시 찾은 겁니다.

출처: I’m (mostly) picking models on speed now, not intelligence – Martin Alderson

“충분히 똑똑하다”는 체감선을 넘었다

알더슨의 논리는 이렇습니다. Opus 4.6 정도 수준의 모델이면 코딩, 리서치 취합, 슬라이드 제작, 데이터베이스 분석 같은 일상 작업엔 이미 “충분히 똑똑하다”는 겁니다. 예전처럼 크고 느린 모델 몇 개만 지능 기준을 넘던 시절엔 속도를 희생해서라도 그 모델을 쓸 가치가 있었습니다. 결과물이 틀리면 다시 만들어야 하니, 느리더라도 정확한 쪽이 결국 이득이었던 거죠.

지금은 상황이 다릅니다. GLM5.2나 DeepSeek V4 Flash 같은 오픈웨이트 모델들도 이 지능 기준을 넘어서면서, 선택지가 “느리지만 확실한 모델 하나”에서 “비슷하게 똑똑한 여러 모델 중 속도로 고르기”로 바뀌었다는 게 그의 관찰이죠.

초당 100토큰이 새로운 기준점

여기서 흥미로운 대목이 나옵니다. 사람이 반응 속도를 “즉각적”이라 느끼는 기준은 대략 100밀리초입니다. 알더슨은 AI 모델의 출력 속도에도 비슷한 체감 기준이 있다고 봅니다. 초당 100토큰 정도면 사람이 따라 읽을 수 있는 최대치에 가깝고, 그 이상은 속독으로도 못 따라갈 만큼 빨리 지나간다는 설명입니다.

그의 체감으로는 초당 100~200토큰이면 꽤 빠르고, 50토큰 아래로 내려가면 답답하게 느껴집니다. 재미있게도 200토큰을 넘어서면 오히려 낯설게 느껴진다고도 덧붙입니다. 실제로 GLM5.2를 제공하는 여러 업체의 속도를 비교해보면 초당 30토큰부터 129토큰까지 차이가 크게 벌어져 있는데, 이 편차 자체가 오픈웨이트 생태계에서 업체들이 속도로 경쟁하고 있다는 증거이기도 합니다.

속도가 빨라져도 작업 전체는 그만큼 안 빨라진다

다만 알더슨은 이 속도 경쟁에 한계가 있다고 짚습니다. 에이전트가 작업 한 턴을 처리하는 시간은 모델 추론뿐 아니라 도구 호출, 사람의 검토 시간까지 합쳐진 값이죠. 초당 50토큰짜리 모델을 250토큰으로 5배 빠르게 바꿔도, 도구 호출과 검토에 걸리는 시간은 그대로이기 때문에 전체 작업 시간은 2배 정도만 줄어든다는 계산입니다.

이 지점부터는 로컬 컴퓨터 성능이나 사람의 판단 속도가 새로운 병목이 됩니다. 모델이 아무리 빨라져도 하드웨어 비용은 AI 수요로 계속 오르고 있어, 속도 개선의 여지가 무한정 있는 것도 아닙니다.

다음 승부처는 가격이 될 수 있다

알더슨은 속도 경쟁 다음으로 가격 경쟁이 본격화될 거라 내다봅니다. OpenAI가 DeepSeek V4 Flash 정식 출시 직전 Luna 모델 가격을 80% 낮춘 것도 이런 흐름의 일부로 봅니다. GLM5.2의 경우 여러 업체가 할인 경쟁을 벌이면서 백만 토큰당 가격이 Opus의 5% 수준까지 떨어진 사례도 있습니다.

차세대 GPU가 배포되는 2027년쯤엔 지금보다 훨씬 빠른 속도로 좋은 품질의 모델을 합리적인 가격에 쓸 수 있을 거라는 게 알더슨의 예상입니다. 다만 그는 한 가지 물음표를 남깁니다. 지금의 “적당히 빠르고 충분히 똑똑한” 균형점이 정말 최적인지, 아니면 훨씬 더 똑똑한 대형 모델이 나왔을 때 지금 이 균형이 초라해 보일지는 아직 알 수 없다는 점입니다.