Single-Rollout Asynchronous Optimization – 에이전틱 RL을 비동기로 안정화하는 학습 기법

배경 문제
GRPO와의 차이
왜 에이전트 학습에 맞나
사용 대상
관련 문서
참고 자료

Single-Rollout Asynchronous Optimization(SAO)은 장기 에이전트 작업에서 롤아웃(rollout)이 끝나는 즉시 모델을 갱신하는 비동기 강화학습(reinforcement learning) 기법이다. 동기식 GRPO 계열 학습이 긴 코딩·추론·도구 사용 작업에서 느려지는 문제를 줄이되, 비동기 업데이트가 만드는 off-policy 불안정성을 제어하는 데 초점을 둔다.

배경 문제

일반적인 LLM RL 파이프라인은 여러 응답을 묶어 한 번에 비교하고 업데이트한다. 하지만 에이전트 작업은 각 rollout 길이가 크게 다르다. 짧은 작업은 빨리 끝나고, 긴 SWE-Bench식 코딩 작업은 훨씬 늦게 끝난다. 모든 rollout을 기다리면 GPU가 놀고, 먼저 도착한 rollout으로 바로 업데이트하면 샘플이 생성된 정책과 현재 정책이 달라지는 off-policy 문제가 커진다.

SAO는 group-wise sampling 대신 prompt당 하나의 rollout만 사용하는 single-rollout sampling을 채택한다. 여기에 value model 학습 설계와 strict double-side token-level clipping을 결합해 비동기 업데이트 안정성을 높인다.

GRPO와의 차이

구분	GRPO 계열	SAO
샘플링	한 prompt에서 여러 rollout 비교	prompt당 단일 rollout
실행 방식	배치 동기성이 강함	rollout 도착 즉시 업데이트
강점	그룹 내 상대 비교가 쉬움	긴 에이전트 작업에서 대기 시간 감소
주요 리스크	장기 작업에서 비효율	off-policy 안정성 관리 필요

왜 에이전트 학습에 맞나

코딩 에이전트, 브라우저 에이전트, 수학 추론 에이전트는 결과가 늦게 도착하고 실패 양상도 다양하다. SAO는 이런 환경에서 rollout 수집과 모델 업데이트를 느슨하게 결합한다. 논문은 SWE-Bench Verified, BeyondAIME, IMOAnswerBench 같은 코딩·추론 벤치마크에서 GRPO와 변형 기법보다 일관되게 나은 결과를 보였다고 설명한다.

특히 시뮬레이션된 온라인 학습 환경에서 환경이 계속 변할 때 single-rollout RL이 효과적이라고 보고한다. 이는 정적인 정답셋보다 변화하는 도구·저장소·웹 환경을 다루는 에이전트 학습에 중요한 포인트다.

사용 대상

agentic RL 파이프라인을 직접 운영하는 모델 학습 팀
코딩·수학·브라우저 작업처럼 rollout 시간이 길고 편차가 큰 태스크를 다루는 연구자
agent-rl-training-frameworks에서 GRPO 이후의 비동기 학습 설계를 검토하는 팀

참고 자료

Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning — arXiv (2026-07-08)

Like?

AI Sparkup