PAST-Bench는 개인 AI 에이전트가 과거 세션에서 저장한 경험을 이후 작업 성능 향상으로 바꾸는지 평가하는 벤치마크다. 단순히 “메모리가 있다”를 확인하는 것이 아니라, 저장(save), 검색(retrieve), 갱신(update) 경로가 실제 향상에 기여했는지까지 진단한다.
문제의식
개인 에이전트는 사용자 선호, 작업 이력, 도구 루틴, 학습된 스킬을 세션 간 유지한다. 하지만 persistent memory가 있다고 해서 에이전트가 자동으로 개선되는 것은 아니다. 잘못된 기억을 검색하거나, 낡은 상태를 갱신하지 못하거나, 기억과 무관하게 우연히 정답을 맞힐 수 있다.
PAST-Bench는 이 차이를 분리하기 위해 경험 유지 조건과 비활성 조건을 맞춰 비교한다. 같은 에이전트가 fresh-session task sequence를 수행하되, retained experience가 켜진 경우와 꺼진 경우를 대조해 later-task gain을 본다.
벤치마크 구성
| 항목 | 내용 |
|---|---|
| 시나리오 | 26개 |
| 에피소드 | 204개 |
| 평가 영역 | memory, procedural reuse, information gathering, update |
| 비교 범위 | 7개 base model, 4개 agent framework |
| 진단 관점 | 성능 향상과 intended pathway evidence를 함께 측정 |
핵심은 “점수가 올랐는가”와 “왜 올랐는가”를 분리하는 것이다. 같은 headline gain을 보인 에이전트도 실제로는 기억 저장·검색·갱신 경로를 제대로 탄 경우와 그렇지 않은 경우가 다를 수 있다.
Hermes+
논문은 PAST-Bench 결과를 바탕으로 Hermes를 확장한 Hermes+도 제안한다. Hermes+는 agent loop 여러 단계에 5개 targeted intervention을 넣어 retained experience의 평균 gain과 pathway evidence를 높인다. 특히 outdated state를 새 정보로 교체해야 하는 update 계열 과제에서 개선이 크다고 보고한다.
다만 효과는 model과 capability에 따라 달라진다. 즉 “메모리를 붙이면 자기개선이 된다”가 아니라, 저장할 내용, 검색 시점, 갱신 규칙, 검증 경로를 에이전트 구조에 명시적으로 넣어야 한다는 쪽에 가깝다.
실무적 의미
PAST-Bench는 장기 기억 에이전트의 평가 기준을 바꾼다. 앞으로 개인 비서, 연구 에이전트, 코딩 에이전트는 다음 질문을 별도로 받아야 한다.
- 과거 경험이 없는 baseline보다 실제로 나아지는가
- 성능 향상이 저장·검색·갱신 경로의 evidence로 설명되는가
- 낡은 선호나 오래된 환경 상태를 안전하게 교체하는가
- framework가 바뀌어도 개선 패턴이 유지되는가
이 질문은 에이전트 메모리 전략과 자기개선 루프를 운영 수준에서 평가할 때 유용하다.
관련 문서
- ai-agent-memory-tips-strategy — 기억 전략을 고르는 의사결정 트리
- ai-agent-memory-tutorial-reusable — 재사용 가능한 에이전트 메모리 만들기
- self-improving-agent-loops — 결과를 기억하고 다음 실행을 고치는 에이전트 구조
- simplemem — 의미 손실 없는 압축 기반 에이전트 장기 메모리
- hermes-agent — 개인 에이전트 하네스
참고 자료
- PAST-Bench: Benchmarking the Foundations of Recursive Self-Improvement in Personal Agents — arXiv (2026-08-04)
- Gen-Verse/PAST-Bench — GitHub 공식 저장소