AI 검색 순위를 추적하는 데 이미 전 세계에서 연간 1억 달러 이상이 쓰이고 있습니다. 그런데 ChatGPT나 Claude가 “어떤 제품이 좋아요?”라는 질문에 같은 목록을 같은 순서로 돌려줄 확률은, 1,000번 중 1번도 안 됩니다.

SparkToro의 Rand Fishkin과 Gumshoe.ai의 Patrick O’Donnell이 2025년 11~12월에 걸쳐 600명의 자원자와 함께 실험을 진행했습니다. ChatGPT, Claude, Google AI에 12가지 프롬프트를 총 2,961회 실행하고 결과를 수집한 뒤, AI 순위 추적이 과연 의미 있는 행위인지를 검증했습니다.

출처: NEW Research: AIs are highly inconsistent when recommending brands or products – SparkToro

AI 추천 리스트는 매번 다르다

수치가 바로 답을 줍니다. 같은 프롬프트를 100번 돌려도, 돌아오는 브랜드 목록이 두 번 일치할 확률은 100분의 1 미만이었습니다. 목록의 순서까지 같아지려면 1,000번 중 1번도 안 됩니다.

이 차이는 AI의 작동 방식에서 비롯됩니다. LLM은 ‘확률적으로 다음 단어를 선택’하는 방식으로 텍스트를 생성합니다. 같은 질문이라도 매번 조금씩 다른 경로를 택하기 때문에, 구글 검색처럼 안정된 순위 개념이 성립하지 않습니다. 연구팀은 이를 이렇게 표현했습니다. “AI 순위를 알려준다는 도구는, 사실상 숫자를 만들어내고 있는 겁니다.”

실험에서 사용한 프롬프트는 다양했습니다. “예산 300달러 이하의 셰프 나이프 추천”, “서울에서 가장 좋은 볼보 딜러십”, “SaaS 스타트업을 위한 클라우드 컴퓨팅 제공업체”, 그리고 암 환자를 위한 미국 서부 최고 병원까지. 주제와 무관하게, AI는 응답할 때마다 새로운 조합을 만들어냈습니다.

그나마 의미 있는 지표는 하나

연구 결론은 단순히 “AI 추적은 무의미하다”로 끝나지 않습니다.

순위(ranking)는 무의미하지만, 노출 빈도(visibility %)는 다를 수 있다는 것이 Fishkin의 결론입니다. 예를 들어, Google AI에 “이커머스 디지털 마케팅 컨설턴트를 추천해줘”라고 95번 물었을 때 Smartsites라는 에이전시가 85번 등장했습니다. 이 빈도는 의미 있는 신호입니다. 수십~수백 번의 프롬프트를 실행해 브랜드가 ‘AI의 고려 집합’에 얼마나 자주 포함되는지를 측정하는 방식이라면, 통계적으로 어느 정도 유효할 수 있습니다.

단, 이 측정도 전제가 까다롭습니다. 최소 수십 번 이상 같은 프롬프트를 반복해야 하고, 프롬프트를 어떻게 구성하느냐에 따라 결과가 달라집니다. 연구팀이 142개의 실제 사용자 프롬프트를 분석한 결과, 같은 의도를 가진 질문이라도 문장 형태가 거의 겹치지 않았습니다. 사람들은 구글에서처럼 “최적의 2~5개 단어”를 찾지 않습니다. 훨씬 다양하고 개인적인 방식으로 AI에게 묻습니다.

AI 검색 순위 추적, 지금은 조심해야 한다

이 연구가 나온 시점에서 GEO(생성형 엔진 최적화) 도구들은 이미 빠르게 확산 중입니다. 그런데 Fishkin은 연구를 마치고 이런 말을 남겼습니다. “AI 순위 정보를 팔면서 자신들의 방법론을 공개하지 않는 벤처 기업들은 부끄러워해야 합니다.”

연구는 추가 과제도 남겼습니다. API 호출이 실제 사용자의 브라우저 사용과 얼마나 다른지, 통계적으로 유의미한 결과를 내려면 프롬프트를 몇 번이나 실행해야 하는지, 더 큰 표본으로 같은 결론이 재현되는지 등입니다. 연구팀 스스로도 “더 많은 연구가 필요하다”고 밝혔습니다.

AI 검색에서 브랜드 노출을 측정하는 일 자체를 포기하라는 얘기가 아닙니다. 다만 지금 유통되는 ‘AI 순위’ 데이터는, 마치 SEO 도구처럼 정확한 척 포장되어 있지만 실제로는 그렇지 않다는 점을 알고 써야 한다는 의미입니다. 연구 전체 데이터와 원시 결과는 논문에 공개되어 있습니다.

참고자료: GEO Best Practices: Prompt Volume Shouldn’t Drive Strategy – Neil Patel Blog