같은 일을 시켰을 때, 예산이 적으면 AI가 유리하죠. 그런데 예산을 계속 키우다 보면 어느 순간부터는 사람이 더 저렴해집니다. AI 안전 연구기관 METR이 이 지점을 정확히 찾아내는 방법을 내놨습니다.

METR이 “지출 지평선(expenditure horizon)”이라는 새 지표를 제안했습니다. AI와 사람이 같은 문제를 개선하는 데 각각 얼마를 써야 하는지 비교해서, 두 비용이 같아지는 지점을 찾는 방식이죠. 이 지점 아래 예산에서는 AI가 더 나은 선택이고, 그 위로 올라가면 사람이 오히려 저렴해지는 겁니다.

출처: Expenditure Horizon: Measuring Optimization Ability, with an Application to NanoGPT – METR

합격·불합격이 아니라 달러로 재는 성능

기존 AI 벤치마크는 대부분 “이 문제를 풀었다 또는 못 풀었다”는 이분법으로 결과를 냅니다. METR의 지출 지평선은 다르게 접근하죠. 얼마를 썼을 때 얼마나 개선됐는지를 세밀한 곡선으로 그려서, AI와 사람의 곡선이 어디서 교차하는지를 봅니다.

이 방식에는 두 가지 이점이 있습니다. 하나는 통과·실패로 뭉뚱그리지 않고 “돈을 얼마나 더 쓰면 얼마나 더 나아지는가”를 그대로 보여준다는 것. 다른 하나는 AI를 돌리는 데 드는 비용뿐 아니라 실험에 들어가는 연산 비용, 사람의 노동 시간까지 전부 하나의 통화(달러)로 환산해서 비교한다는 점이죠.

METR이 기존에 여러 테스트에서 봐온 패턴도 이 지표와 맞아떨어집니다. AI 에이전트는 쉽고 저렴한 작업은 사람보다 빠르게 풀지만, 예산이 커지고 문제가 어려워질수록 뒤처지는 경향이 있었네요.

NanoGPT 스피드런으로 직접 재보니

METR은 이 방법을 “NanoGPT 스피드런”이라는 프로젝트에 적용해봤습니다. 자원봉사자들이 AI 언어모델을 최대한 빠르게 훈련시키는 방법을 겨루는 공개 커뮤니티 프로젝트죠. 과제는 그대로 두고 훈련 방식만 바꾸는 게 규칙인데, 2024년 5월 이후 82단계에 걸쳐 훈련 시간이 45분에서 2분 미만으로, 누적 33배까지 줄었습니다.

사람 쪽 비용을 추정하기 위해 METR은 이 프로젝트의 활발한 기여자 두 명을 인터뷰했습니다. 별도로 AI 모델(Opus-4.6)에게도 각 개선 단계에 들어간 노력을 추정하게 했죠. 두 방식 모두 1%포인트 개선마다 평균 16시간의 작업이 들어간다는 결과로 수렴했습니다. 시급 150달러로 계산하면 1%포인트당 약 2,500달러인 것.

METR은 이 숫자가 상당히 불확실하다고 밝히면서도, 인터뷰에서 눈에 띄는 대목 하나를 짚었습니다. 그 시간 대부분이 결국 실패로 끝난 아이디어에 쓰였다는 점이었죠.

이번엔 AI 에이전트 여섯 개 모델에게 같은 과제를 맡겼습니다. 처음부터 시작하지 않고 이미 상당히 최적화된 지점(2026년 3월 기록)에서 출발해, 실행당 최대 1만 달러까지 쓸 수 있게 했네요. 결과로 나온 지출 지평선은 0달러에서 3,300달러 사이였습니다. 지금까지 사람들이 이 프로젝트에 누적으로 쏟은 노력이 25만 달러 규모로 추정된다는 점과 비교하면, AI 에이전트의 기여는 아직 그 일부에 지나지 않는 셈입니다.

참고자료: METR introduces a new metric to calculate exactly when AI agents become more expensive than humans – The Decoder