당신의 웹사이트에 사람이 아닌 방문자가 늘고 있습니다. AI 에이전트들이 이미 정보를 수집하고, 리서치를 대신하고, 심지어 구매까지 대행하는 방식으로 웹을 탐색하고 있죠. 그런데 AI 에이전트는 멋진 디자인에도, 부드러운 애니메이션에도 관심이 없습니다. 콘텐츠를 빠르고 정확하게 이해하고 상호작용할 수 있는지만 봅니다.

개발자 Karol Bąk이 AI 에이전트 친화적인 웹사이트를 만들기 위한 5가지 핵심 요소를 정리한 글을 발표했습니다. robots.txt 점검부터 아직 실험적 단계인 WebMCP까지, 에이전트가 당신의 사이트를 제대로 활용할 수 있게 만드는 실질적인 기준들을 다룹니다.

출처: Your website’s next visitor is an AI agent – kukicola.io

에이전트 친화적 웹이란 무엇인가

에이전트 친화적 웹사이트란 AI 에이전트가 신뢰할 수 있는 방식으로 탐색하고, 이해하고, 상호작용할 수 있는 사이트입니다. 기존 SEO가 구글 봇을 위한 최적화라면, 이건 GPT나 Claude 같은 AI 에이전트를 위한 최적화라고 볼 수 있습니다. 새롭게 등장하는 표준들이 있고, 일부는 이미 존재하지만 제대로 활용되지 않고 있습니다.

Bąk은 다섯 가지 핵심 구성 요소를 제시합니다.

robots.txt: 에이전트 차단하고 있지 않은지 확인하기

가장 먼저 할 일은 이미 있는 robots.txt를 다시 들여다보는 것입니다. 많은 사이트가 크롤러를 광범위하게 차단하다 보니, 의도치 않게 AI 에이전트까지 막고 있는 경우가 있습니다.

중요한 구분이 하나 있습니다. 학습용 크롤러와 사용자를 대신해 실시간으로 정보를 수집하는 에이전트는 다릅니다. OpenAI를 예로 들면, GPTBot은 학습용 크롤러이고 ChatGPT-User는 실시간 에이전트입니다. Anthropic과 Google도 각자의 봇을 구분해 공개하고 있어서, 학습 크롤러만 선별 차단하는 것이 가능합니다.

llms.txt: 에이전트를 위한 사이트 가이드

robots.txt가 에이전트에게 “무엇에 접근할 수 있는지”를 알려준다면, llms.txt는 “무엇을 봐야 하는지”를 알려줍니다.

사이트 루트에 위치하는 마크다운 파일로, 사이트 개요와 주요 페이지 링크, 콘텐츠 구조를 간략히 담습니다. 개발자 문서에 비유하자면 README와 같은 역할입니다. HTML처럼 파싱이 복잡하지 않고, 수천 개의 토큰을 소모하지 않아도 되는 단순한 텍스트 구조가 핵심입니다. llms-full.txt로 모든 콘텐츠를 인라인으로 담아두면 에이전트가 링크를 일일이 따라가지 않아도 됩니다.

이 표준은 Jeremy Howard(fast.ai 창립자)가 제안한 것으로, 현재 llmstxt.org에서 공식 스펙이 관리되고 있습니다.

마크다운 버전 콘텐츠: 에이전트가 읽기 좋은 형태로 제공하기

llms.txt가 목차라면, 실제 콘텐츠 페이지도 에이전트가 효율적으로 읽을 수 있는 형태여야 합니다. 동일한 URL에 .md 확장자를 붙이거나, ?format=markdown 쿼리 파라미터, 혹은 HTTP 콘텐츠 협상(Accept 헤더) 방식으로 마크다운 버전을 제공하면 됩니다.

블로그나 문서 사이트라면 콘텐츠가 원래 마크다운으로 작성되어 있을 가능성이 높습니다. 렌더링 전 원본 소스를 그대로 노출하는 것만으로도 에이전트 접근성이 크게 개선됩니다.

OpenAPI: 에이전트가 제품을 직접 사용할 수 있게 하기

지금까지가 에이전트의 ‘읽기’를 위한 것이었다면, OpenAPI는 ‘사용’을 위한 것입니다.

API가 있다면 OpenAPI 스펙을 공개하는 것이 에이전트에게 줄 수 있는 가장 강력한 도구입니다. 에이전트는 스펙을 읽는 순간 어떤 엔드포인트가 있고, 어떤 파라미터를 써야 하고, 어떤 응답을 받는지 즉시 파악합니다. 문서를 크롤링하거나 엔드포인트를 추측할 필요가 없습니다. 이미 OpenAPI 스펙이 있다면 llms.txt와 문서에서 링크로 연결해두는 것만으로도 충분합니다.

WebMCP: 에이전트와 사용자의 협업을 위한 새로운 인터페이스

MCP(Model Context Protocol)는 AI 에이전트와 외부 서비스를 연결하는 표준화된 방식입니다. 에이전트가 수행할 수 있는 도구(tools), 읽을 수 있는 리소스(resources), 미리 정의된 상호작용 방식(prompts)을 노출합니다.

WebMCP는 여기서 한 걸음 더 나아가 JavaScript 인터페이스로 웹사이트에 MCP를 직접 구현하는 방식입니다. SPA처럼 에이전트가 파악하기 어려운 구조에서도, 기존 함수를 MCP 도구로 노출하는 방식으로 에이전트 친화성을 확보할 수 있습니다. 특히 흥미로운 점은 사용자와 에이전트가 협력하는 하이브리드 경험입니다. 예를 들어 신발 구매에서 사용자는 마음에 드는 제품을 고르고, 에이전트는 유사 상품을 찾아주고 배송 정보를 입력하는 식입니다. WebMCP는 아직 Chrome 얼리 프리뷰 단계로 실험적인 기술이지만, 에이전트-웹 상호작용의 방향성을 보여줍니다.

새로운 방문자를 위한 준비

SEO가 검색 엔진 봇을 위한 최적화였던 것처럼, 이제는 AI 에이전트를 위한 최적화가 새로운 기준이 되어가고 있습니다. robots.txt와 llms.txt처럼 당장 적용 가능한 것부터, WebMCP처럼 아직 형성 중인 표준까지 스펙트럼이 넓습니다. 글에서는 사이트의 에이전트 친화도를 체크해주는 무료 도구 AgentProbe도 소개하고 있으니, 자신의 사이트가 어느 수준인지 확인하는 출발점으로 활용해볼 수 있습니다.

참고자료:

• llms.txt 공식 스펙 – llmstxt.org
• WebMCP – webmcp.dev