같은 24시간, 분석 도구는 254명을 기록했고 서버 로그는 1,777건의 봇 크롤을 기록했습니다. 어느 쪽이 진짜 방문자 수일까요?

Yoast SEO 창업자 Joost de Valk가 자신의 블로그 트래픽 데이터를 분석하다 이 질문을 던졌습니다. 서버 로그에 찍힌 1,777건 중 536건은 ChatGPT-User, Claude-User 같은 AI 봇이었는데, 이 봇들은 누군가 AI에게 질문했을 때 실시간으로 그의 글을 읽은 기록입니다. 그는 “진짜 방문자가 몇 명인지 모르겠다”고 했고, 그 이유가 더 중요한 이야기라고 썼습니다.

출처: What’s a visitor in the age of AI? – joost.blog

AI 봇이라고 다 같은 게 아닙니다

AI 관련 봇은 크게 세 종류로 나뉩니다.

첫째는 학습 크롤러입니다. GPTBot, ClaudeBot 같은 봇이 여기 해당하는데, AI 모델을 학습시키거나 갱신하기 위해 웹을 순회합니다. 언제 올지는 봇 운영사가 결정하고, 사람의 개입은 없습니다.

둘째는 AI 검색 인덱서입니다. OAI-SearchBot, Claude-SearchBot 등으로, AI 어시스턴트가 나중에 인용할 수 있도록 검색 인덱스를 구축합니다. 마찬가지로 스케줄에 따라 움직입니다.

셋째가 핵심입니다. 온디맨드 봇, 즉 ChatGPT-User와 Claude-User입니다. 이 봇들은 누군가 AI에게 질문을 던졌을 때, 그 AI가 특정 URL을 지금 바로 읽어야 한다고 판단했을 때만 작동합니다. OpenAI는 ChatGPT-User를 “사용자가 ChatGPT에게 URL 방문을 요청할 때 사용”한다고 명시하고 있고, Anthropic도 Claude-User를 같은 방식으로 설명합니다. 학습 목적이 아니며, 스케줄 크롤링도 아닙니다. 실시간으로 사람이 요청한 fetch입니다.

그러니까 Joost의 서버 로그에 찍힌 536건의 온디맨드 봇 기록은, 누군가가 AI에게 질문했고 그 AI가 그의 블로그를 읽었다는 뜻입니다.

왜 분석 도구가 이걸 놓치는가

Plausible 같은 JS 기반 분석 도구는 브라우저가 페이지를 로드할 때 실행되는 스크립트로 방문자를 측정합니다. AI 봇은 JavaScript를 실행하지 않습니다. 그러니 536건의 온디맨드 fetch는 Plausible 대시보드에 흔적조차 남기지 않습니다.

이건 Plausible의 결함이 아닙니다. 원래 사람이 브라우저로 페이지를 여는 행위를 측정하도록 설계된 도구니까요. 봇까지 집계한다면 오히려 대시보드가 망가집니다.

문제는 이 두 숫자를 단순히 더할 수도 없다는 겁니다. 한 사람이 AI에게 질문 하나를 던졌을 때, AI는 관련 글 여러 편을 한꺼번에 fetch하는 경우가 많습니다. 536건의 요청이 100명의 질문에서 나왔을 수도, 300명에서 나왔을 수도 있습니다. 요청마다 세션 ID 같은 식별자가 없기 때문에 구분할 방법이 없습니다. Joost가 솔직하게 인정하듯, 진짜 숫자는 넓은 범위 어딘가에 있고, 그 범위는 AI 어시스턴트 사용이 늘수록 매달 더 넓어집니다.

“읽혔다”는 것과 “방문했다”는 것

더 근본적인 균열이 있습니다.

AI가 내 글을 fetch해서 사용자에게 요약해줬을 때, 그 사용자는 내 블로그를 “방문”한 걸까요? 그는 내 글에서 나온 정보를 소비했지만, 내 디자인을 보지 않았습니다. 내 뉴스레터 구독 버튼도, 다른 글로 이어지는 링크도 보지 못했습니다. 심지어 joost.blog라는 이름을 들어본 적도 없을 수 있습니다.

Joost는 이걸 2011년 구글의 not provided 사태에 빗댑니다. 당시 구글은 어떤 검색어로 클릭이 발생했는지 숨겼지만, 클릭 자체는 여전히 기록됐습니다. AI 어시스턴트는 한 발 더 나아갑니다. 클릭 자체가 없고, fetch만 있습니다.

전통적인 콘텐츠 성과 루프는 “구글에서 유입 → 스크롤 → 다른 글 클릭 → 뉴스레터 구독”이었습니다. AI 매개 소비의 루프는 다릅니다. “AI가 글을 찾았는가 → AI가 글을 신뢰했는가 → AI가 인용했는가 → 사용자가 그 정보로 행동했는가.” 두 루프는 같은 게 아닙니다. 페이지뷰를 잘 최적화했어도 AI 루프에서는 보이지 않을 수 있고, 반대로 AI에게 자주 인용되는 글이 트래픽 대시보드에서는 조용할 수 있습니다.

대시보드가 놓치는 것이 체계적으로 쌓인다

Joost가 지적하는 핵심은 이겁니다. 콘텐츠에 대한 거의 모든 의사결정이 분석 대시보드를 기반으로 이뤄집니다. 이 글이 효과가 있었는가, 더 써야 하는가, 이 주제는 죽어가는가. 그런데 지난 18개월 동안 가장 빠르게 성장한 읽힘의 형태, 즉 AI 매개 소비가 구조적으로 그 대시보드에 잡히지 않는다면, 대시보드는 무작위로 틀리는 게 아니라 체계적으로 잘못된 방향을 가리키는 겁니다.

그가 원하는 건 간단합니다. AI 벤더들이 퍼블리셔 단위의 리포트를 공개하는 것, 즉 “특정 도메인이 며칠에 몇 개의 세션에서 fetch됐고, 그 중 실제로 인용된 경우는 몇 건인가”라는 집계된 수치입니다. 현재 그 데이터는 AI 벤더만 갖고 있고, 퍼블리셔에게는 공개되지 않습니다.

“방문자”라는 단어가 하나의 개념을 담기엔 이미 너무 좁아졌을지 모릅니다.