EdgeBench는 자율 AI 에이전트가 실제에 가까운 실행 환경에서 오래 반복하며 성능을 개선하는 능력을 평가하는 벤치마크다. 단일 프롬프트 정답률이 아니라, 에이전트가 2시간, 4시간, 6시간, 8시간, 10시간, 12시간 이상 환경 피드백을 받으며 어디까지 나아가는지를 본다.
무엇이 다른가
일반적인 LLM 벤치마크는 고정 입력과 고정 정답을 둔다. EdgeBench는 에이전트를 실행 가능한 태스크 환경에 넣고, 다단계 피드백을 받으며 시행착오를 반복하게 한다. ByteDance Seed는 전체 134개 태스크와 약 38,000시간의 에이전트 상호작용 분석에서 성능이 상호작용 시간의 함수로 log-sigmoid scaling law를 따른다고 보고한다.
공개 데이터셋은 51개 태스크와 평가 프레임워크를 포함한다. 전체 134개 스위트 평가는 별도 문의가 필요하다.
태스크 범위
EdgeBench 태스크는 여섯 범주로 나뉜다.
| 범주 | 예시 |
|---|---|
| Scientific Problems & ML | BipedalWalker 정책 학습, 3D 역문제, GNN 노드 분류 |
| Systems & Software Engineering | ANN 검색 최적화, 컴파일러 구현, Git 재구현, Rust 멀티크레이트 복원 |
| Combinatorial Optimization | 차량 경로, bin packing, 그래프 색칠, SMT solver |
| Professional Knowledge Work | 시험지 생성, CTA 리스크 예산, 포트폴리오 리스크 보정 |
| Formal Math & Theorem Proving | Lean 4·Coq 형식 증명 태스크 |
| Interactive Games & Simulators | NetHack, OpenTTD, Battle for Wesnoth, 텍스트 어드벤처 |
각 태스크는 하루 규모 도전 과제로 설계됐고, 공개 설명 기준 인간 전문가 기록 effort 평균은 57.2시간, 최대 320시간이다. 즉, “짧은 코딩 문제”가 아니라 장기 탐색·디버깅·전략 개선을 요구하는 평가에 가깝다.
리더보드 읽는 법
Hugging Face 데이터셋 카드 기준 전체 134개 태스크 @12h 점수는 Claude Opus 4.8이 51.3, GPT-5.5가 48.4, GPT-5.4가 39.3, GLM-5.1이 37.4, DS-V4-Pro가 31.0으로 제시된다. 공개 51개 subset @12h에서는 Claude Opus 4.8이 44.2, GPT-5.5가 43.1이다.
이 수치는 모델 단독 지능만을 의미하지 않는다. 장시간 실행 벤치마크에서는 모델, 하네스, 도구 사용 정책, 재시도 전략, 로그 분석, 비용 제한이 모두 결과에 섞인다. EdgeBench를 도입할 때는 “어느 모델이 최고인가”보다 “우리 에이전트 하네스가 시간에 따라 실제로 학습하고 있는가”를 보는 지표로 쓰는 편이 맞다.
SForge 평가 하네스
EdgeBench는 SForge라는 두 컨테이너(two-container) 평가 하네스를 사용한다. 하나는 에이전트 실행 환경, 다른 하나는 태스크 검증과 격리를 담당하는 구조로 이해할 수 있다. 장시간 에이전트 평가에서는 이런 격리가 중요하다. 에이전트가 태스크 파일, 채점기, 네트워크, 외부 라이브러리 제약을 우회하면 점수가 실제 능력을 반영하지 못하기 때문이다.
누가 봐야 하나
- 장기 실행 코딩·연구 에이전트를 만드는 팀
- 모델 교체보다 하네스 개선 효과를 측정하고 싶은 플랫폼 엔지니어
- 단발성 SWE-bench류 평가를 넘어, 시행착오와 자기 개선 능력을 보고 싶은 연구자
- 강화학습, 도구 사용, 메모리, 평가 인프라를 함께 다루는 AI 시스템 팀
관련 문서
- ai-agent-evaluation — 긴 작업과 도구 사용을 검증하는 평가 하네스 설계
- agent-harness — AI 에이전트 성능을 결정하는 스캐폴딩 설계
- tua-bench — 범용 터미널 사용 에이전트를 평가하는 벤치마크
- senior-swe-bench — 시니어 엔지니어 수준의 기능·버그 해결 능력을 재는 에이전트 벤치마크
참고 자료
- ByteDance-Seed/EdgeBench — Hugging Face Datasets (2026)
- ByteDance-Seed/EdgeBench GitHub — GitHub 공식 저장소
- EdgeBench technical report — Technical Report (2026)