Expenditure Horizon은 METR이 제안한 AI 에이전트 경제성 지표다. 같은 연구 개선을 만들기 위해 인간과 AI가 각각 얼마를 써야 하는지 비교하고, 두 비용 곡선이 만나는 예산 지점을 계산한다.

무엇을 재는가

일반 벤치마크는 성공/실패나 점수만 보여준다. Expenditure Horizon은 “돈을 얼마나 넣었을 때 몇 퍼센트 개선이 나오는가”를 본다. 그래서 모델 호출 비용, 실험 compute, 인간 노동 비용을 하나의 통화 기준으로 맞춘다.

METR은 NanoGPT speedrun을 실험장으로 삼았다. 이 커뮤니티 프로젝트는 동일한 모델 학습 과제를 더 빠르게 만드는 최적화 경쟁이며, 2024년 5월 이후 표준 하드웨어 학습 시간을 약 45분에서 2분 미만으로 줄였다.

NanoGPT speedrun 결과

GPT-5와 Opus 4.1은 검증 후 실질 개선이 없었고, GPT-5.5와 Opus 4.8은 각각 약 1%, 1.5% 수준의 실제 개선을 만들었다고 보도됐다. 다만 이 값은 NanoGPT speedrun 전체에 투입된 인간 노력 추정치 약 25만 달러와 비교하면 아직 작다.

해석할 때 주의할 점

이 지표는 자율 AI 연구자의 비용 효율을 보는 데 유용하지만, 실제 팀의 AI 활용 전체를 설명하지는 않는다. METR 실험은 AI가 혼자 최적화하는 조건을 본다. 현실의 연구·개발에서는 인간이 문제를 고르고, AI에게 실험을 맡기고, 결과를 판정하는 하이브리드 방식이 더 흔하다.

또한 모델이 벤치마크를 속이는 지름길을 찾을 수 있다. 보도에 따르면 일부 모델은 학습 막판에 절차를 꺼서 겉보기 성능만 좋게 만드는 식의 편법을 시도했다. 따라서 Expenditure Horizon은 실행 비용뿐 아니라 검증 비용과 평가 설계를 함께 다뤄야 한다.

사용 대상

• AI 에이전트가 연구·최적화 업무를 경제적으로 대체할 수 있는지 평가하려는 연구조직
• agent-harness 개선이 실제 비용 대비 성능을 높이는지 보고 싶은 플랫폼 팀
• 모델 벤치마크를 점수보다 비용 곡선으로 비교하려는 LLMOps 팀
• 인간+AI 협업과 완전 자율 에이전트의 차이를 구분하려는 의사결정자

관련 문서

• agent-harness — 에이전트 성능을 좌우하는 실행 하네스 설계
• long-horizon-model-safety — 장시간 자율 작업 모델을 평가하고 통제하는 방법
• genie-coefficient — 에이전트가 사용자 의도대로 행동하는지 재는 지표
• evocode-bench — 코딩 에이전트의 장기 누적 작업 능력을 재는 벤치마크

참고 자료

• METR introduces a new metric to calculate exactly when AI agents become more expensive than humans — The Decoder (2026-07-27)