에이전트 지연은 모델 한 번의 생성 시간이 아니라 계획, 검색, 도구 호출, 재시도, 최종 답변이 이어진 전체 루프의 시간이다. LLM 추론 지연 최적화가 개별 호출의 TTFT·TPOT를 다룬다면, 이 글은 사용자가 기다리는 에이전트 작업 전체를 줄이는 순서를 다룬다.
1. 추측하기 전에 워터폴을 본다
분산 추적에서 각 LLM 호출, 검색, API, 재시도의 시작·종료 시각을 기록한다. 한 번의 긴 모델 호출이 문제인지, 작은 호출 여러 개가 누적되는 문제인지에 따라 해법이 달라진다. p50만 보지 말고 p95와 실패 뒤 재시도 시간도 본다.
2. 실제 시간과 체감 시간을 함께 줄인다
스트리밍으로 최종 문장뿐 아니라 현재 단계, 검색 결과, 다음 작업을 보여 주면 사용자는 멈췄다고 느끼지 않는다. 오래 걸리지만 즉시 답할 필요가 없는 이메일 분류·배치 분석은 백그라운드 작업으로 전환하고, 완료·실패만 알린다. 진행 상황은 민감한 내부 추론을 노출하지 않는 범위에서 설계한다.
3. LLM 호출 수를 줄인다
규칙으로 가능한 검증·변환을 모델 호출로 만들지 않는다. 범용 ReAct나 다중 에이전트 구조가 모든 도구를 차례로 논의하게 만들면 유연성의 대가로 지연과 비용이 커진다. 고정된 업무는 그래프에서 결정적 분기와 코드 단계를 명시해 필요한 모델 호출만 남긴다.
4. 한 번의 호출을 가볍게 만든다
빠른 소형 모델은 품질 저하를 동반할 수 있으므로 작업별로 라우팅한다. 더 즉각적인 효과는 불필요한 컨텍스트를 줄이는 것이다. 프롬프트, 도구 정의, 검색 문서를 호출별로 관찰해 필요한 부분만 넣고, 이전 결과는 요약·참조로 대체한다.
5. 독립 작업은 병렬화한다
가드레일 검사와 초안 생성, 여러 문서 추출, 복수 모델 평가처럼 서로 의존하지 않는 호출은 동시에 실행한다. 반대로 앞 단계의 결과가 필요한 작업을 무리하게 병렬화하면 재작업이 늘어난다. 병렬 분기에는 시간 초과, 부분 실패, 결과 병합 규칙을 함께 둔다.
적용 순서
- 대표 작업의 워터폴과 p95를 수집한다.
- UX·백그라운드 전환으로 사용자 대기 구간을 분리한다.
- 호출 제거와 컨텍스트 축소를 적용한다.
- 독립 분기만 병렬화하고 품질·비용을 재측정한다.
관련 문서
- agentic-loops — 에이전트 작업 루프 설계
- llm-inference-latency-tips — 모델 호출 자체의 지연 줄이기
- context-engineering — 필요한 컨텍스트만 선별하는 방법
참고 자료
- AI Agent Latency 101: How do I speed up my AI agent? — LangChain Blog (2025-03-15)