AgentGym2는 LLM 에이전트를 더 현실적인 환경에서 평가하기 위한 벤치마크 프레임워크다. 논문은 기존 에이전트 벤치마크가 사전 포장된 도구, 깨끗한 입력, 명확한 목표를 가정해 실제 배포 난이도를 낮게 본다고 지적한다.
무엇을 다르게 평가하나
| 평가 축 | 설명 |
|---|---|
| end-to-end 실행 | 단순 답변이 아니라 작업 절차 전체를 완료하는지 본다 |
| 도구 탐색 | 미리 알려진 도구만 쓰는 것이 아니라 환경을 탐색해 새 도구를 찾는다 |
| 도구 조합 | 보지 못한 작업에 여러 도구를 엮어 해결하는 능력을 본다 |
| 노이즈와 불완전성 | 모호하고 누락된 정보, 깨끗하지 않은 입력에서 회복하는지 본다 |
이 관점은 프로덕션 에이전트에서 중요한 “문제가 잘 정리되어 있지 않을 때도 앞으로 나아가는 능력”을 직접 겨냥한다.
결과의 의미
초록에 따르면 AgentGym2 실험에서는 proprietary 모델과 오픈소스 모델 15종을 평가했으며, Gemini와 GPT-5 같은 강한 시스템도 현실적 작업 요구에는 여전히 어려움을 보였다. 이는 모델 추론 능력뿐 아니라 하네스, 도구 발견, 상태 관리, 오류 복구가 에이전트 성능의 병목임을 시사한다.
실무 활용
에이전트 제품팀은 AgentGym2를 “벤치마크 점수”로만 보기보다 자체 평가 설계의 체크리스트로 활용할 수 있다. 평가 데이터에 모호한 지시, 실패하는 도구, 누락된 파일, 권한 문제, 탐색해야 하는 도구 설명을 넣어야 실제 운영 리스크를 더 잘 드러낼 수 있다.
관련 문서
- tua-bench — 범용 터미널 사용 에이전트를 평가하는 벤치마크
- edgebench — 장시간 실세계 환경 학습을 측정하는 자율 에이전트 벤치마크
- data-for-agents — 에이전틱 AI를 위한 오픈 데이터와 합성 데이터 전략