AI에게 지난주에 있었던 일이나 방금 업데이트된 정보를 물어보면 종종 그럴듯하게 없는 사실을 지어냅니다. 학습된 기억에만 의존해 답하려다 벌어지는 일이죠. 이걸 막기 위해 요즘 AI 검색 도구 대부분이 쓰는 장치가 하나 있습니다. 답하기 전에 먼저 검색부터 하는 겁니다.

SEO 분석 업체 Ahrefs가 이 장치, 즉 “검색 증강 생성(RAG)”이 실제로 어떻게 작동하는지 정리한 글을 냈습니다. ChatGPT나 AI 모드 같은 도구들이 어떤 페이지를 찾아 인용하는지 그 이면의 절차를 다룹니다.

출처: Retrieval Augmented Generation (RAG) Explained – Ahrefs

학습된 기억과 찾아온 자료는 다르다

AI 모델은 방대한 데이터로 학습되지만, 그 학습에는 마감 시점이 있습니다. 그 이후에 일어난 일이나 실시간으로 바뀌는 정보를 물으면, 모델은 참고할 자료 없이 순전히 기억에 의존해 답을 짜내야 하죠. 이때 그럴듯하지만 틀린 답, 이른바 “할루시네이션”이 나올 확률이 높아집니다.

RAG는 이름 그대로 세 단계로 이뤄집니다. 검색(Retrieval)으로 관련 자료를 찾고, 그 자료를 입력에 더해 증강(Augmented)한 뒤, 질문과 자료를 함께 써서 답을 생성(Generation)합니다. 모델이 원래 학습한 내부 지식(파라메트릭 메모리)에 더해, 그때그때 찾아온 외부 자료로 답을 보강하거나 아예 덮어쓰는 방식입니다. 이 과정을 “그라운딩”이라 부르기도 합니다. 모델이 마음대로 지어내지 않도록 특정 출처에 답을 붙들어 맨다는 뜻이죠.

질문 하나가 여러 개로 쪼개진다

실제로 검색이 시작되기 전, AI는 먼저 이 질문에 외부 자료가 필요한지부터 판단합니다. “VPN이 뭐야” 같은 단순한 질문은 학습된 지식만으로 충분해 검색 없이 답하죠. 반면 최신 정보나 복잡한 맥락이 필요한 질문이면 검색 단계로 넘어갑니다.

이때 질문은 그대로 검색되지 않습니다. 원래 질문 하나를 여러 개의 관련 질문으로 쪼개 각각 따로 검색한 뒤 결과를 합치는데, 이 과정을 “쿼리 팬아웃”이라 부릅니다. 예를 들어 “레몬 드리즐 케이크에 밀가루 대신 통밀가루를 쓰면 어떻게 되나요”라고 물으면, AI는 이 문장 그대로 검색하는 대신 “드리즐 케이크에 좋은 밀가루”, “통밀가루 베이킹 팁”, “통밀가루가 케이크 밀도에 미치는 영향” 같은 하위 질문들로 나눠 검색할 수 있습니다.

검색으로 찾은 페이지는 통째로 쓰이지 않습니다. 책을 챕터별로 찢어내듯 작은 조각(청크)으로 잘게 나뉘고, 각 조각과 질문을 숫자로 된 의미 좌표(임베딩)로 바꿔 서로 얼마나 가까운지(코사인 유사도)를 계산합니다. 이 좌표상에서 질문과 가장 가까운 조각이 최종적으로 선택돼 답변에 쓰입니다.

참고한 자료는 답을 끝내자마자 지워진다

흥미로운 지점은 이렇게 골라낸 조각들이 AI의 단기 작업 기억(컨텍스트 윈도우)에 잠깐 올라왔다가, 답변이 끝나면 바로 삭제된다는 겁니다. 실제로 AI 전문가 댄 페트로비치가 이걸 직접 확인했습니다. 유명 인물에 대한 정보를 찾아 답하게 한 뒤, 곧바로 이어지는 대화에서 방금 참고했던 자료의 특정 구절을 다시 불러와 달라고 요청했더니 AI는 답하지 못했습니다. 답을 만드는 데 쓰인 원자료는 응답이 나오는 순간 함께 사라지는 셈입니다.

이 구조 덕분에 AI 모델은 다시 학습받지 않고도 최신 정보를 답에 반영할 수 있습니다. 모델 자체를 바꾸는 대신, 그때그때 검색해서 가져오는 방식이라 업데이트 비용도 훨씬 낮습니다. 지금 ChatGPT나 AI 검색에게 질문을 던질 때마다, 사실은 이 세 단계가 매번 조용히 돌아가고 있는 셈입니다.