Agentic RAG의 핵심 인사이트는 간단하다: 검색은 단일하고 명확한 단계가 아니라 지속적인 추론 과정이다. 기본 RAG 파이프라인이 “검색하고 생성”한다면, Agentic RAG는 “검색하고, 평가하고, 반복하고, 그런 다음 생성”한다.

Level 1: Agentic RAG란 무엇인가

전통적 RAG의 한계

전통적 RAG는 고정된 순서를 따른다:

• 한 번 검색 → 청크 집합 획득 → LLM에 전달

이 방식의 실패 패턴:

• 검색된 컨텍스트가 실제로 유용한지 검증 불가
• 검색 미스 시 재시도 메커니즘 없음
• 여러 소스나 외부 도구 활용 불가

예시: “Q3 2025 매출과 Q1 2026 실적을 비교하고 최신 SEC 공시의 핵심 위험 요소를 요약해줘”라는 복합 쿼리를 단일 검색으로 처리하면, 두 질문을 혼합한 관련성 낮은 청크들이 반환된다.

에이전트가 추가하는 것

Level 2: 에이전트 검색 루프 동작 원리

쿼리 분해와 소스 라우팅

복잡한 쿼리를 분해해 각 서브쿼리를 적합한 소스로 라우팅한다:

단일 요청이 여러 소스를 순차적으로 결합할 수 있다.

멀티홉 검색

법적 노출도 분석처럼 “공시·판례·컴플라이언스 기록을 연결해야 하는” 질문은 단계적 검색이 필요하다:

1. 첫 번째 검색 → 결과 획득
2. 결과에서 갭 식별 → 다음 쿼리 정제
3. 충분한 증거가 모일 때까지 반복

RQ-RAG: 멀티홉 쿼리를 잠재 서브쿼리로 사전 분해 RAG-Fusion: 동일 쿼리의 여러 변형을 병렬 생성하고 상호 순위 융합(Reciprocal Rank Fusion)으로 병합

자기보정과 검색 검증

정적 파이프라인은 검색된 청크를 직접 LLM에 전달하지만, Agentic RAG는 검증 단계를 추가한다:

• 관련성 확인
• 모순 탐지
• 필요 시 재쿼리

이 자기보정 루프가 핵심 차별점이다. 검색된 데이터를 “가정되는 사실”이 아닌 “평가해야 할 증거”로 취급해 환각(hallucination)을 줄인다.

Level 3: 고급 아키텍처와 프로덕션 트레이드오프

Graph RAG: 관계형 지식

벡터 검색은 문서를 독립된 청크로 취급해 유사도로 순위를 매긴다. 엔티티 간 관계가 핵심인 쿼리(법률 리서치, 의료 진단, 금융 노출 분석)에서는 한계가 있다.

Graph RAG는 문서에서 지식 그래프를 구축하고 임베딩 유사도 대신 그래프 순회로 검색한다:

리플렉션과 메모리

리플렉션: 에이전트가 초안 답변을 검토해 갭·오류·약한 근거를 찾아 추가 검색을 트리거한다.

메모리:

• 단기 메모리: 세션 내 이미 검색한 내용 추적
• 장기 메모리: 과거 쿼리에서 학습해 미래 검색 효율성 향상

이 두 메커니즘이 Agentic RAG를 무상태 검색 루프에서 실제 운영 히스토리를 가진 추론 시스템에 가깝게 만든다.

언제 Agentic RAG가 과도한가?

Agentic RAG는 강력하지만 더 느리고 비용이 높다. LLM 호출이 여러 번 발생하므로 지연, 토큰 사용, 실패 위험이 모두 증가한다.

실용적 기준:

• 단일 홉 팩트 쿼리 → 정적 RAG
• 멀티스텝 추론 또는 크로스 소스 합성 → Agentic RAG

관련 문서

• rag — RAG 개요 및 기본 개념
• graph-rag — 관계 인식 검색으로 멀티홉 질문에 답하는 RAG 패러다임

참고 자료

• Agentic RAG Explained in 3 Levels of Difficulty — Machine Learning Mastery (2026-05-04)