검색을 더 시킨 에이전트가 오히려 더 낮은 정답을 냈습니다. 계속 뒤지고도 결국 추측으로 답한 쪽은 51.9%, 아예 처음부터 찍어버린 쪽은 56.5%. 검색량과 정확도가 거꾸로 갔다는 얘기죠.

텐센트 훈위안과 칭화대 연구팀이 만든 벤치마크, DiscoBench의 결과입니다. GAIA나 BrowseComp 같은 기존 벤치마크는 사용자 질문이 완전하고 명확하다고 가정했죠. 하지만 실제 질문은 자주 모호하거나, 아예 불완전합니다. DiscoBench가 파고든 지점이 바로 여기입니다. AI 검색 에이전트가 모호함을 스스로 알아채고, 사용자에게 되물을 수 있는가 하는 것이죠.

출처: When Search Agents Should Ask: DiscoBench for Clarification-Aware Deep Search – 텐센트 훈위안·칭화대 연구팀 (arXiv)

모호함 네 가지, 그리고 벤치마크의 구조

비디오 게임, 스포츠, 음악, 영화, 과학, 정치 등 11개 지식 분야. 여기에 걸쳐 211개 과제, 463개의 모호한 지점을 담았습니다. 과제 하나하나는 여러 체크포인트로 쪼개지고, 에이전트는 그때그때 검색을 더 할지, 사용자에게 되물을지, 아니면 그냥 답을 낼지 골라야 하죠.

모호함은 네 가지로 나뉩니다. 하나의 설명이 여러 대상과 동시에 들어맞는 경우, 시점이나 버전에 따라 답이 달라지는 경우, 평가 기준 자체가 여러 개인 경우, 질문에 아예 사실 오류가 섞인 경우. 에이전트가 쓸모 있는 되물음을 던지면 미리 준비된 힌트가 나와서 검색 범위를 좁혀줍니다.

최상위 모델도 절반을 못 넘습니다

11개 최신 모델(Claude Opus 4.7, GPT 5.4, Gemini 3.1 Pro, Doubao Seed 2.0 Pro 등)을 테스트한 결과, 힌트 없이 가장 높은 최종 정답률을 기록한 모델은 Doubao Seed 2.0 Pro로 43.1%였습니다. Gemini 3.1 Pro가 40.8%, Claude Opus 4.7이 39.8%로 뒤를 이었고요.

눈에 띄는 건 개별 단계 성적과 최종 성적 사이의 격차입니다. Opus 4.7은 체크포인트 하나하나는 57%나 맞혔는데, 끝까지 완주한 정답률은 39.8%에 그쳤죠. 초반에 모호함을 한 번 잘못 짚으면, 뒤에서 아무리 정교하게 검색해도 오답으로 흘러갈 수밖에 없습니다.

검색하는 능력과 되묻는 능력은 서로 다릅니다

행동 패턴을 뜯어보면 원인이 보입니다. 검색한 뒤 필요할 때 되묻는 에이전트(“SearchThenAsk”)는 93.4%. 되묻지 않고 바로 추측한 에이전트(“DirectGuess”)는 56.5%였고, 검색은 계속하면서 끝내 되묻지 않고 추측으로 마무리한 에이전트(“SearchHeavyGuess”)는 51.9%로 가장 낮았죠. 연구진은 이 마지막 패턴을, 모호함을 이미 감지하고도 그걸 사용자와의 상호작용으로 옮기지 못한 경우라고 봅니다.

그렇다면 “모호하면 꼭 물어봐”라고 시스템 프롬프트에 못박아 두면 해결될까요. 연구진이 이 방식(“Guided” 모드)을 시험해본 결과, 평균 최종 정답률은 28.6%에서 33.7%로만 올랐습니다. 모호함을 감지하는 능력(Detection F1)은 45.3%에서 64.9%로 크게 뛰었는데도 말이죠. 심지어 Claude Opus 4.7은 이 지시를 받고도 최종 정답률이 살짝 떨어졌더군요. 모호하다는 걸 알아채는 것과 그걸 좋은 질문으로 바꿔내는 것, 이 둘은 아예 다른 능력이라는 얘기입니다.

검색 도구를 없애면 완전히 무너집니다

한 가지는 분명합니다. 모델이 이미 아는 지식만으로 풀 수 있는 문제는 아니라는 것. 검색 도구를 아예 없애자 Doubao Seed 2.0 Pro의 정답률은 43.1%에서 2.4%로 곤두박질쳤습니다. 반대로 질문에서 모호함을 걷어내주면 정확도가 모델에 따라 26.8~40.2점포인트나 뛰었고요. 검색 능력과 추론 능력만으로는 부족합니다. 검색 중 생기는 불확실성을 대화로 바꿔내는 별도 장치가 필요하다, 이게 연구진의 결론입니다.

AI 검색을 쓰는 사람이 챙길 것

AI 검색 에이전트를 매일 쓰는 사람에게도 이 결과는 쓸모가 있습니다. 답이 이상하게 나왔을 때 “검색을 못했나 보다”라고 넘기기 전에, 내 질문이 애초에 여러 갈래로 읽힐 수 있었는지부터 의심해볼 만하죠. 시점, 버전, 판단 기준을 질문에 먼저 못박아두면 정확도가 크게 오른다, 이번 연구가 보여준 수치니까요.

같은 문제의식은 다른 연구에서도 반복됩니다. LiveBrowseComp 벤치마크는 많은 검색 에이전트가 실제로는 새로 조사하기보다 이미 아는 걸 확인하는 데 그친다는 걸 보여줬고, Halluhard 벤치마크는 웹 검색을 쓴 Claude Opus 4.5조차 출처 검증 과정에서 약 30%의 확률로 환각을 일으킨다고 지적했습니다. 앤트로픽은 최근 Opus 4.8에서 불확실성을 더 자주 표시하도록 조정했고, 퍼플렉시티는 검색 과정을 아예 코드로 짜게 하는 “Search as Code” 방식을 시도하고 있습니다. AI 검색이 자리 잡으려면, 결국 “얼마나 많이 뒤졌는가”가 아니라 “언제 멈추고 되물어야 하는지 아는가”에 달려 있습니다.

참고자료:

• AI search agents don’t fail at searching, they fail at asking the right questions when queries get ambiguous – THE DECODER
• AI search agents often confirm what they already know instead of actually researching the web – THE DECODER
• New benchmark shows AI models still hallucinate far too often – THE DECODER