Agent-as-a-Router는 코딩 작업마다 가장 적합한 LLM을 고르는 모델 라우팅을 정적 분류 문제가 아니라 에이전트 루프로 다루는 연구다. 논문은 라우터의 병목을 정보 부족(information deficit)으로 보고, 배포 중 실행 결과를 축적해 다음 선택을 개선하는 ACRouter를 제안한다.
핵심 아이디어
현실의 사용자는 여러 모델을 동시에 쓴다. 어떤 모델은 버그 수정에 강하고, 어떤 모델은 리팩터링이나 테스트 작성에 강하다. 기존 라우터는 입력 작업을 보고 한 번에 모델을 고르는 분류기에 가깝다. Agent-as-a-Router는 이를 Context -> Action -> Feedback -> Context 루프로 바꾼다.
| 단계 | 의미 |
|---|---|
| Context | 작업 설명, 과거 성능, 유사 사례 |
| Action | 특정 모델 선택 |
| Feedback | 실행 점수, verifier 결과, 비용 |
| Context 업데이트 | 다음 라우팅에 경험 반영 |
논문은 단순 LLM 라우터에 작업 차원별 성능 통계를 추가하는 것만으로도 15.3% 상대 성능 향상이 있었다고 보고한다. 즉, 라우팅은 모델 능력보다 “어떤 정보를 라우터가 알고 있는가”에 크게 좌우된다.
ACRouter 구성
ACRouter는 네 구성요소로 설명된다.
| 구성요소 | 역할 |
|---|---|
| Orchestrator | 현재 작업을 보고 모델 선택 |
| Verifier | 결과 품질 검증 |
| Memory | 작업별 모델 성능 경험 누적 |
| CodeRouterBench | 약 10K 코딩 작업과 8개 frontier LLM 점수로 라우터 평가 |
평가 기준은 streaming task에서 누적 regret를 줄이는 것이다. “처음부터 완벽히 고른다”보다, 시간이 지나며 더 나은 선택을 하도록 만드는 데 초점이 있다.
실무적 의미
코딩 에이전트 운영자는 단일 최고 모델만 고집할 필요가 없다. 쉬운 변경은 저렴한 모델, 복잡한 설계는 고성능 모델, 테스트 보강은 특정 모델처럼 작업별 포트폴리오를 구성할 수 있다. 다만 이를 감으로 운영하면 품질이 흔들리므로, verifier와 메모리 기반 라우팅이 필요하다.
이는 codexsaver처럼 저비용 워커를 활용하는 접근, codex-tips-deepinfra-models처럼 대체 모델 공급자를 연결하는 접근과 함께 볼 만하다.
관련 문서
- codexsaver — 저위험 작업을 저비용 워커에 위임하는 Codex MCP 라우터
- codex-tips-deepinfra-models — DeepInfra 모델을 Codex에 연결하는 로컬 shim
- ai-agent-evaluation — AI 에이전트 평가의 기본 개념
- self-improving-agent-loops — 결과를 기억하고 다음 실행을 고치는 에이전트 구조
참고 자료
- Agent-as-a-Router: Agentic Model Routing for Coding Tasks — arXiv (2026-06-24)
- LanceZPF/agent-as-a-router — GitHub 공식 저장소