검색 시스템을 고도화할수록 오히려 GPT-5 같은 범용 모델이 발목을 잡는 상황이 생깁니다. 도메인 특수성, 즉 우리 서비스만의 사용자 언어와 맥락을 범용 모델은 알 방법이 없기 때문입니다.
검색 엔지니어 Doug Turnbull이 기존 검색 스택의 구조적 한계와, 이를 대체할 에이전틱 서치 모델의 방향을 정리했습니다. 임베딩, 리랭커, 쿼리 분류기 같은 검색 부품들이 에이전트로 통합되는 흐름, 그리고 범용 모델이 아닌 도메인 특화 소형 모델이 그 자리를 채울 것이라는 전망입니다.
출처: Agentic search models – softwaredoug.com
지금 검색 스택은 어떻게 생겼나
지난 10~20년간 검색 시스템은 비슷한 구조로 만들어졌습니다. 쿼리가 들어오면 비즈니스 규칙을 적용하고, 쿼리를 분류하고, 여러 검색 백엔드를 뒤지고, 결과를 후처리하고 리랭킹하는 식입니다.
각 부품은 자기 역할에만 집중합니다. 리랭커는 리랭킹만, 쿼리 분류기는 분류만 합니다. 전체 흐름을 보는 부품이 없습니다. 이 구조는 기능적이지만, 필연적으로 두껍고 모놀리식해집니다.
에이전트가 전체를 오케스트레이션한다
에이전틱 서치는 이 구조를 뒤집습니다. 검색 도구들은 얇은 래퍼로 단순화되고, 에이전트가 전체를 봅니다.
작동 방식은 이렇습니다.
- 사용자 쿼리가 에이전트에 들어옵니다
- 에이전트는 어떤 retrieval 도구를 쓸지 직접 판단합니다
- 키워드 검색, 임베딩 검색 등 기본 도구들을 필요에 따라 조합합니다
- 결과를 탐색하며 관련성을 평가하고 최종 답을 구성합니다
기존 스택에서 각 부품이 파이프라인의 일부만 담당했다면, 에이전트는 쿼리 이해부터 결과 제공까지 전 과정을 하나의 흐름으로 처리합니다.
GPT-5가 채우지 못하는 마지막 20%
그렇다면 GPT-5나 Claude 같은 프론티어 모델로 에이전트를 만들면 되지 않을까요?
80%는 됩니다. 일반적인 쿼리는 범용 모델이 잘 처리합니다. 문제는 나머지 20%입니다.
가구 쇼핑몰에서 사용자가 “bistro table”을 검색하면 실제로는 “작은 야외 테이블”을 원하는 것이지, 레스토랑 장비를 원하는 게 아닙니다. 패션 검색 사용자들이 복잡한 패턴보다 단색·무지 제품을 훨씬 많이 클릭한다는 것도, GPT-5는 모릅니다. 이런 도메인 특수성은 우리 서비스의 데이터 안에만 있습니다.
범용 모델은 ‘검색’을 구글처럼 거의 완벽하게 작동하는 웹 검색으로 이해합니다. 하지만 실제 기업의 검색은 훨씬 좁은 도메인에서 작동하고, 훨씬 단순한 백엔드를 씁니다. 범용 모델을 이 환경에 맞추려면 컨텍스트 엔지니어링에 많은 토큰과 비용이 들 수밖에 없습니다.
도메인 특화 에이전틱 서치 모델의 등장
이 빈자리를 채우기 위해 검색에 특화된 소형 모델들이 나타나기 시작했습니다. SID가 공개한 SID-1, Glean이 출시한 Waldo, 그리고 특정 코퍼스에 맞춰 튜닝하는 Charcoal 같은 스타트업들입니다. 이 모델들은 GPT-5보다 작고, 빠르고, 검색 추론에 특화되어 있습니다.
Turnbull은 이것이 임베딩 모델의 분화와 같은 방향이라고 봅니다. 지금 Hugging Face에는 금융, 법률, 이커머스에 특화된 임베딩 모델이 수십 개 있습니다. 에이전틱 서치 모델도 결국 같은 방식으로 세분화될 것이라는 전망입니다. 임베딩이 유사도 계산이라는 좁은 문제만 푼다면, 에이전틱 서치 모델은 쿼리 이해부터 하이브리드 검색 오케스트레이션까지 전 과정을 아우를 수 있습니다.
지금은 속도가 아직 실시간 사이트 검색에 쓰기엔 느리지만, 그 방향으로 가고 있다는 점은 분명합니다. 검색 스택이 얇아지고, 그 위에서 도메인을 아는 에이전트가 전체를 조율하는 구조가 앞으로의 모습일 수 있습니다.
답글 남기기