TUA-Bench는 범용 터미널 사용 에이전트(terminal-use agent, TUA)를 평가하기 위한 벤치마크다. 기존 shell benchmark가 주로 코딩·기술 작업에 집중했다면, TUA-Bench는 문서 편집, 이메일 관리, 실시간 웹 정보 탐색, 과학·공학 도구 사용까지 포함한다.
무엇을 평가하나
논문 초록 기준 TUA-Bench는 5개 task family에 걸친 120개 실제 작업으로 구성된다.
| 영역 | 예시 |
|---|---|
| 일상 디지털 작업 | 문서 편집, 이메일 관리 |
| 정보 탐색 | live-web 정보 찾기 |
| 과학 워크플로 | PhD급 도메인 전문가와 공동 설계한 작업 |
| 공학 워크플로 | 전문 소프트웨어 사용이 필요한 작업 |
| 터미널 운영 | 실제 terminal 환경에서 실행되는 deterministic setup |
각 작업은 수동 설계되고, 실제 터미널에서 실행되며, 실행 기반 scoring protocol로 평가된다.
왜 중요한가
터미널 에이전트는 코딩을 넘어 일반 컴퓨터 사용 능력으로 확장되고 있다. 하지만 GUI 중심 computer-use benchmark와 코딩 중심 shell benchmark 사이에는 공백이 있다. TUA-Bench는 이 공백을 채워, “터미널에서 다양한 디지털 업무를 실제로 끝낼 수 있는가”를 측정한다.
초기 결과
논문은 가장 강한 frontier agent로 Claude Code + Claude Opus 4.8 max reasoning effort를 평가했을 때 전체 65.8% 성능을 얻었다고 보고한다. 이는 터미널 에이전트가 상당한 능력을 보이지만, 범용 디지털 업무와 전문 워크플로 전반에서는 아직 큰 격차가 있음을 뜻한다.
평가 설계 시사점
- 코딩 벤치마크만으로 터미널 에이전트의 범용성을 판단하면 부족하다.
- deterministic setup script와 실행 기반 채점이 중요하다.
- 문서·이메일·웹·전문 소프트웨어처럼 “코드가 아닌 작업”을 포함해야 한다.
- 에이전트의 실패는 모델 추론뿐 아니라 도구 사용, 환경 조작, 상태 유지에서 발생한다.
관련 문서
- ai-agent-evaluation — AI 에이전트 평가와 벤치마크 설계
- Terminal-Bench 계열 평가 — 터미널 기반 에이전트 평가 흐름
- claude-code — 터미널에서 동작하는 AI 코딩 에이전트
- agent-harness — 에이전트 하네스 엔지니어링
참고 자료
- TUA-Bench: A Benchmark for General-Purpose Terminal-Use Agents — arXiv (2026-06-26)