One-Step Trap은 AI 에이전트가 필요한 장기 예측을 1스텝 예측 모델을 반복 실행하는 방식으로 충분히 만들 수 있다고 믿는 오류를 말한다. Rich Sutton은 이 관점을 POMDP, Bayesian analysis, control theory, AI 압축 이론 등에서 반복적으로 나타나는 매력적이지만 위험한 함정으로 설명한다.
핵심 주장
1스텝 전이 모델이 완벽하다면 반복 rollout으로 장기 예측도 완벽해진다. 하지만 실제 모델은 완벽하지 않다. 작은 1스텝 오류는 rollout 과정에서 누적되고, stochastic world에서는 미래가 단일 궤적이 아니라 확률이 붙은 가능성의 트리가 된다. 따라서 긴 미래를 1스텝 모델 반복으로 계산하는 비용은 예측 길이에 대해 지수적으로 커질 수 있다.
왜 에이전트 설계에 중요할까
현대 AI 에이전트도 비슷한 유혹을 받는다. “다음 행동만 잘 고르면 전체 작업도 잘 된다”는 식의 설계는 장기 목표, 추상화된 서브태스크, 검증 가능한 종료 조건을 과소평가한다. 장기 작업에서는 단기 행동 예측보다 temporal abstraction, options, 재사용 가능한 value prediction, 명시적 planning state가 중요해진다.
설계 교훈
| 피해야 할 설계 | 더 나은 방향 |
|---|---|
| 다음 행동 예측만 반복 | 장기 목표와 중간 서브태스크를 분리 |
| 단일 rollout에 의존 | 여러 후보 경로와 검증 루프 유지 |
| world model을 물리 시뮬레이터처럼 취급 | 모델 오류와 불확실성을 명시적으로 다룸 |
| 프롬프트 체인만 늘림 | options, GVF, task memory 같은 시간 추상화 사용 |
관련 문서
- agentic-loops — AI 시스템을 반복 루프 단위로 설계하는 관점
- self-improving-agent-loops — 결과를 기억하고 다음 실행을 고치는 에이전트 구조
- qwen-agentworld — 범용 에이전트를 위한 언어 월드 모델
참고 자료
- The One-Step Trap (in AI Research) — Rich Sutton (2024-07-18)