GPT-5.6 Sol로 코딩 세션을 돌리던 개발자 Mark Huang은 이상한 걸 느꼈습니다. Codex에서 보이는 컨텍스트 예산이 GPT-5.5 때보다 확실히 커졌는데(약 35만 6천 토큰 대 25만 토큰), 주간 사용 한도는 오히려 더 빨리 사라졌습니다. 속도도 눈에 띄게 느려졌고, Max 모드에서는 되묻는 질문도 더 많아졌습니다.

숫자로는 분명히 좋아졌는데 체감은 나빠졌다는 이 어긋남에서, Huang은 더 큰 질문을 던집니다. 모델 회사나 리더보드가 “이 모델이 더 낫다”고 말할 때, 정확히 무엇이 더 나아진 걸까요.

출처: GPT-5.6 Sol Scores Higher. Why Does My Weekly Limit Vanish Faster? – markhuang.ai

같은 컨텍스트 창인데 숫자가 다른 이유

Huang이 먼저 풀어야 했던 건 컨텍스트 창 숫자 자체의 혼란이었습니다. OpenAI의 API 문서에는 GPT-5.6 Sol과 GPT-5.5 둘 다 105만 토큰 창으로 나와 있습니다. 그런데 Codex 안에서 실제로 본 숫자는 35만 6천과 25만입니다. ChatGPT Business 페이지에는 또 27만 2천이라고 적혀 있고요.

이건 오류가 아니라, “컨텍스트 창”이라는 말이 서로 다른 층위를 가리키기 때문입니다. API가 받아들이는 모델 자체의 최대치가 있고, 실제 제품(챗GPT, Codex 등)이 사용자에게 열어주는 창이 있습니다. 그 안에서도 시스템 지침과 도구 정의, 대화 기록을 다 빼고 남는 세션 예산이 있고, 에이전트가 기록을 요약해버리는 압축 임계치가 있습니다. 그리고 마지막으로 그 작업에서 실제로 안정적으로 활용되는 유효 컨텍스트가 있습니다. 발표 자료의 “100만 토큰”과 내가 화면에서 보는 숫자가 다른 건 이 다섯 층위 중 어느 걸 보고 있느냐의 문제입니다.

창이 커도 항상 좋은 건 아닙니다

긴 컨텍스트는 실제 문제를 해결합니다. 20분 전에 나눈 아키텍처 논의를 에이전트가 까먹거나, 같은 파일을 다시 읽거나, 작업 중간에 요구사항을 놓치는 걸 막아주니까요.

하지만 창이 커질수록 사람들이 뭉뚱그려 “컨텍스트 부패”라고 부르는 서로 다른 실패 양상 세 가지가 함께 따라옵니다.

1. 중간 소실 — 정보가 놓인 위치 때문에 중간에 있는 내용이 덜 신뢰성 있게 처리되는 현상
2. 컨텍스트 부패 — 프롬프트 어딘가에 답이 있어도 입력이 늘어날수록 전반적인 성능 자체가 떨어지는 현상
3. 컨텍스트 드래그 — 턴이 거듭될수록 이전 기록과 도구 출력이 계속 쌓여 지연 시간과 사용량이 늘고 낡은 지시를 따를 여지가 커지는 현상

논문 “Lost in the Middle”과 Chroma의 컨텍스트 부패 연구 모두, 창에 “들어간다”는 것과 모델이 그걸 “잘 활용한다”는 건 서로 다른 주장이라는 걸 보여줍니다.

사용 한도가 더 빨리 닳는 진짜 이유

Huang은 Sol이 왜 느린지 정확한 원인(출시 초기 수요, 백엔드 부하, 모델 자체의 행동, 자신의 작업 특성)을 자기 자리에서는 가려낼 수 없다고 인정합니다. 다만 사용량 쪽은 설명이 더 쉽습니다. OpenAI 문서에 따르면 사용량은 모델 선택, 컨텍스트 크기, 추론 강도, 도구 사용, 검색, 캐싱에 따라 달라지고 비슷해 보이는 작업도 소모량이 다를 수 있습니다.

더 크게 유지되는 컨텍스트는 최종 답이 짧더라도 세션 전체를 더 비싸게 만듭니다. 모델이 더 많은 기록을 처리하고, 더 오래 추론하고, 더 많은 도구를 호출하고, 더 많은 근거를 다시 살펴보기 때문입니다. 캐시가 반복되는 앞부분을 저렴하게 만들어주긴 하지만, 긴 에이전트 루프 자체를 공짜로 만들어주지는 않습니다. 그래서 “토큰 효율이 좋아진 모델”과 “내 사용 한도가 더 빨리 사라졌다”는 두 사실이 서로 모순되지 않습니다. 하나는 벤치마크 하나를 푸는 데 드는 모델 수준의 주장이고, 다른 하나는 세션 전체에 걸친 제품 수준의 결과이기 때문입니다. Huang은 이걸 이렇게 정리합니다. 자신이 정말 알고 싶은 지표는 “답 하나당 토큰”이 아니라 “받아들일 만한 결과 하나당 소모된 사용량”이라고요.

벤치마크 점수는 모델 리뷰가 아니라 측정 계약입니다

Huang의 결론은 리더보드 숫자 하나가 실제로는 다섯 개 층위를 압축한 결과라는 것입니다. 어떤 작업을 시켰는지(워크로드), 어떤 도구와 프롬프트, 턴 제한을 줬는지(하네스), 어떤 모델 스냅샷과 추론 강도를 썼는지(추론 설정), 무엇이 정답을 판정했는지(채점자), 그리고 개별 점수를 하나의 헤드라인 숫자로 어떻게 합산했는지(집계 방식)까지. 이 다섯 가지를 모르는 채로 보는 점수는 실질적으로 거의 쓸모가 없다는 게 그의 판단입니다.

“지능 지수가 높다”는 말은 에이전틱·코딩·일반·과학 평가를 가중 합산한 결과가 낫다는 뜻이지, 그 제품이 더 빠르거나 덜 짜증나거나 내 워크플로에 더 잘 맞는다는 뜻은 아닙니다. 실제로 Artificial Analysis가 GPT-5.6 세 모델(Sol, Terra, Luna)의 지능 대 비용을 비교한 차트를 보면, Sol과 Luna는 거의 모든 구간에서 Terra보다 지능 대비 비용 효율이 앞섭니다. 이 수치 자체는 유효한 비교지만, Huang의 지적처럼 이런 지수 하나가 실제 사용 경험에서 느끼는 속도나 사용량 소모까지 보장해주지는 않습니다.

Max와 Ultra 같은 모드 이름도 비슷한 착각을 부릅니다. Max는 모델에게 하나의 문제를 더 오래 추론할 시간을 주는 것이고, Ultra는 서브에이전트로 작업을 나눠 병렬로 돌리는 것입니다. 둘 다 “더 강력해 보이는 이름”이지만, 더 많은 활동이 자동으로 더 정확하거나 더 통제 가능한 결과를 뜻하지는 않는다는 게 Huang이 Ultra를 써보고 느낀 점이었습니다.

참고자료: How GPT-5.6 Sol, Terra, Luna compare on intelligence vs cost – Artificial Analysis