2026년 3월 20일, Google이 공식 문서에 조용히 새 항목 하나를 추가했습니다. 크롤러도, 학습용 봇도 아닌, 에이전트였습니다. AI가 사용자를 대신해 웹사이트를 탐색하는 것이 실험적인 미래 이야기가 아니라 공식 인프라로 자리잡은 순간이었습니다.
Google이 공식 fetcher 목록에 Google-Agent를 등재했습니다. Google 인프라에서 실행되는 AI 시스템이 사용자의 요청으로 웹사이트를 방문할 때 사용하는 사용자 에이전트 식별자로, Google의 AI 브라우징 도구인 Project Mariner가 첫 번째 적용 제품입니다.
출처: Google User-Triggered Fetchers – Google for Developers
Googlebot과 무엇이 다른가
Google-Agent는 Googlebot이 아닙니다. Googlebot은 쉬지 않고 웹을 돌아다니며 검색 인덱스를 만드는 크롤러입니다. Google-Agent는 사람이 AI에게 특정 작업을 요청할 때만 등장합니다. 제품 정보를 조사해달라거나, 폼을 제출해달라거나, 여러 사이트를 비교해달라고 요청하면 그때 비로소 Google-Agent가 해당 페이지를 방문합니다.
Google은 이 방식을 user-triggered fetcher(사용자 촉발 요청) 로 분류합니다. Google Read Aloud, NotebookLM, Feedfetcher처럼 공통점이 하나 있습니다. 사람이 먼저 요청했다는 것입니다. 자율적으로 움직이는 크롤러가 아니라 사용자의 대리인으로 작동한다는 의미입니다.
robots.txt가 통하지 않는다
Google의 입장은 명확합니다. 사용자 촉발 요청은 일반적으로 robots.txt 규칙을 무시한다는 것입니다. 논리는 간단합니다. 사용자가 Chrome 주소창에 URL을 직접 입력하면 브라우저는 robots.txt와 무관하게 그 페이지를 불러옵니다. Google-Agent도 같은 원칙으로 작동합니다.
흥미로운 점은 OpenAI와 Anthropic의 선택이 다르다는 겁니다. ChatGPT-User와 Claude-User도 사용자 촉발 fetcher지만, 두 서비스는 robots.txt를 준수합니다. robots.txt에서 ChatGPT-User를 차단하면 사용자가 ChatGPT에게 웹 탐색을 요청해도 해당 페이지를 가져오지 않습니다. Google은 다른 선택을 했습니다.
이는 robots.txt를 접근 통제의 전부로 여겨온 사이트 운영자에게 실질적인 공백을 만들어냅니다. Google-Agent의 접근을 제한하려면 서버 측 인증처럼 실제 인간 방문자를 막을 때 쓰는 방법을 사용해야 합니다.
Web Bot Auth, 에이전트 신원을 증명하는 암호화 여권
Google-Agent와 함께 등장한 더 주목할 만한 변화가 있습니다. Google이 Web Bot Auth 프로토콜 실험을 시작한 것입니다.
Web Bot Auth는 IETF(국제 인터넷 표준화 기구)가 초안 작성 중인 표준으로, 봇의 신원을 암호화 방식으로 증명하는 체계입니다. 작동 방식은 이렇습니다.
- 각 에이전트는 개인 키를 보유하고 공개 키를 디렉토리에 등록합니다.
- 웹사이트에 요청을 보낼 때마다 개인 키로 서명합니다.
- 웹사이트는 서명을 검증해 방문자의 신원을 암호화 수준에서 확인합니다.
사용자 에이전트 문자열은 누구나 위조할 수 있습니다. Web Bot Auth는 그렇지 않습니다. Akamai, Cloudflare, Amazon(AgentCore Browser)이 이미 이 프로토콜을 지원하고 있고, Google의 합류로 임계 질량에 가까워졌습니다.
에이전트 트래픽이 늘어날수록 웹사이트 입장에서는 진짜 사용자를 대신하는 합법적인 에이전트와 에이전트를 흉내 내는 스크레이퍼를 구분하는 문제가 점점 중요해집니다. IP 검증도 도움이 되지만 암호화 서명이 더 확장성이 좋고 위조하기도 어렵습니다.
웹 방문자는 이제 세 종류다
Google-Agent의 등장으로 웹의 방문자 구조가 세 계층으로 나뉩니다.
- 직접 탐색하는 사람
- 검색과 학습을 위해 콘텐츠를 인덱싱하는 크롤러(Googlebot, GPTBot, Google-Extended)
- 실시간으로 특정 사람을 대신해 작업하는 에이전트(Google-Agent, ChatGPT-User, Claude-User)
크롤러는 콘텐츠를 인덱싱하려 합니다. 에이전트는 작업을 완료하려 합니다. 제품 페이지를 읽거나, 가격을 비교하거나, 예약을 넣는 것처럼요. 방문 목적도, 적용되는 접근 규칙도, 기대하는 응답도 모두 다릅니다.
1년 전만 해도 AI 에이전트가 사람 옆에서 함께 웹을 탐색한다는 건 컨퍼런스 발표의 소재였습니다. 이제 그것은 사용자 에이전트 문자열과 공개 IP 범위를 갖추고, 암호화 신원 확인 프로토콜과 Google 공식 문서에 등재된 현실이 됐습니다.
참고자료:
- Google-Agent: The Web’s New Visitor Just Got an Identity – No Hacks
- Web Bot Auth Working Group – IETF Datatracker
- Web Bot Auth – Cloudflare Bots Reference – Cloudflare Docs
답글 남기기