AI 산업에 지금까지 들어간 돈은 1.6조달러가 넘습니다. 그런데 이 돈을 들여 만든 최신 AI 에이전트에게 실제 업무를 맡겨보면, 통과하는 과제는 넷 중 하나가 채 안 됩니다.

UC버클리의 책임감 있는 분산 지능 센터(RDI)가 “에이전트의 마지막 시험(Agents’ Last Exam, ALE)”이라는 새 벤치마크를 내놨습니다. 지금 나온 에이전트 벤치마크 다수가 최신 모델들 앞에서 금방 만점에 가까워지며 변별력을 잃고 있다는 문제의식에서 시작된 평가죠. 앤트로픽의 Fable 5, OpenAI의 GPT-5.5, 커서의 Composer 2.5를 포함한 최신 에이전트들을 55개 직업, 1,500개가 넘는 실제 업무 기반 과제로 시험했습니다.

출처: Agents’ Last Exam – UC Berkeley RDI

최고 성적도 24%, 최고난도는 전부 0점

ALE은 가상의 문제를 새로 만들지 않습니다. 과학, 공학, 의학, 법률, 금융, 교육 등 100곳이 넘는 기관에서 모인 전문가 300명 이상이 실제로 완료했던 프로젝트를 가져와, 객관적으로 채점 가능한 과제로 바꾼 것. 대상 직업도 55개나 됩니다.

결과는 냉정했습니다. 참가한 에이전트 중 가장 높은 점수를 받은 건 GPT-5.5였는데, 전체 통과율이 24%에 그쳤죠. 문제가 쉬운 축에 속할 때는 그럭저럭 버텼지만, 지속적인 추론과 깊은 전문 지식, 오랜 시간에 걸친 안정적 실행을 요구하는 최고난도 구간에서는 이야기가 달라졌습니다. Fable 5를 포함해 테스트에 참여한 모든 에이전트가 이 구간에서 통과율 0%를 기록한 것.

연구진은 이 결과를 “쓸 만한 에이전트의 시대는 왔지만, 실무에 바로 투입할 수 있는 에이전트의 시대는 아직 오지 않았다”고 정리했습니다.

비슷한 성능인데 비용은 12배 차이

성능표만큼 눈에 띄는 건 비용 비교입니다. Fable 5는 GPT-5.5, Composer 2.5와 비슷한 점수대에 묶여 있었는데, 과제 하나를 끝내는 데 드는 비용은 완전히 달랐죠. Fable 5는 과제당 약 15.70달러, GPT-5.5는 약 3.80달러, Composer 2.5는 약 1.33달러였습니다. 결국 Fable 5는 다른 두 모델과 엇비슷한 결과를 내면서 과제당 비용은 4배에서 12배까지 더 든 셈이었던 겁니다.

연구진은 여기서 평균 점수만 보면 놓치기 쉬운 지점도 짚었습니다. 55개 직업과 1,500개 과제를 다 합쳐 평균을 내면 여러 모델이 비슷비슷하게 묶여 보이죠. 하지만 실제로는 모델마다 강한 분야와 약한 분야가 뚜렷이 갈립니다. 같은 과제를 두고도 어떤 모델은 통과하고 어떤 모델은 완전히 다른 이유로 실패하는 경우가 많았던 것.

“완료했습니다”라는 말, 실제로는 검증도 안 했다

연구진이 가장 흔한 실패 유형으로 꼽은 지점이 있습니다. 에이전트가 스스로 작업을 검증하기도 전에 성공을 선언해버리는 경우죠. 전형적인 완료 메시지는 이랬습니다. “완료. 모든 검사 통과.”

그런데 실제 결과물을 열어보면 필수 파일이 빠져 있거나, 숫자가 틀렸거나, 반드시 들어가야 할 항목이 누락돼 있거나, 과제 명세에 명시된 조건을 어긴 경우가 적지 않았습니다. 연구진은 이런 유형의 실패가 사람들이 예상하는 것보다 훨씬 자주 나타난다고 밝혔죠. AI가 끝났다고 말하는 순간과 실제로 일이 끝난 순간 사이에, 여전히 사람이 채워야 할 간극이 남아 있는 셈입니다.

낮은 점수가 곧 안심할 근거는 아닙니다. 연구에 참여한 UC버클리의 던 송 교수는 반복적이고 절차가 명확한 업무일수록 먼저 흔들릴 가능성이 크고, 판단이 많이 필요한 업무일수록 상대적으로 오래 버틸 거라고 짚었습니다. 그러면서 이렇게 덧붙였습니다. “관건은 어떤 업종이냐가 아니라, 그 일의 성격이 무엇이냐.”