이제 웹은 사람보다 봇의 방문이 더 많습니다. Cloudflare 통계로도 확인되는 사실이고, 기업의 60%가 이미 에이전트를 실제 서비스에 쓰고 있습니다. 사람이 검색하고 클릭해서 정보를 얻던 자리에, 과제를 받아 대신 웹을 뒤지고 사실을 뽑아 근거를 대는 에이전트가 끼어들고 있는 겁니다.

SEO 컨설턴트 Kevin Indig이 Siteline 창업자 David Kaufman과 함께, 실제 에이전트가 웹사이트 100곳을 방문해 정보를 찾는 과정을 반복 실험으로 뜯어봤습니다. 결과는 명확했습니다. 대부분의 사이트는 에이전트가 오는 것 자체는 문제없이 받아들이지만, 유독 한 지점에서 매번 걸려 넘어졌습니다.

출처: Where AI agents get stuck on your site – Growth Memo (Kevin Indig)

에이전트는 사람처럼 페이지를 읽지 않습니다

사람은 페이지를 훑어보며 설득당하거나 흥미를 느낍니다. 에이전트는 다릅니다. 과제를 받고, 웹을 검색하고, 페이지를 가져와 사실을 추출한 다음, 그 사실을 어디서 가져왔는지 근거로 남깁니다. 페이지가 사람을 설득하는 데는 성공해도, 정보가 찾기 어렵거나(불투명), 기계가 읽어내기 어렵거나(판독성 문제), 접근 자체가 막혀 있으면(접근 마찰) 에이전트에게는 실패한 페이지가 됩니다. 연구팀은 이 변화를 “웹사이트가 쇼룸에서 바코드로 바뀌었다”고 표현합니다.

실험은 에이전트에게 홈페이지 링크조차 주지 않고 직접 공식 사이트를 찾게 한 뒤, 가격·기능, 연동, 보안·컴플라이언스라는 세 가지 과제를 100개 B2B 제품에 대해 각각 5번씩 반복시키는 방식으로 진행됐습니다.

유독 가격 정보에서 막힙니다

세 가지 과제의 성공률을 비교하면 차이가 뚜렷합니다. 연동 정보는 1차 출처(해당 회사 공식 사이트) 응답률 93%, 보안 정보는 92%인 반면, 가격·기능 정보는 79%에 그쳤습니다. 가격을 물었을 때 나온 답변 중 77%가 회사가 아닌 제3자 출처에서 나온 인용이었습니다.

가격을 아예 공개하지 않는 회사가 많아서 생기는 문제로 보이기 쉽지만, 절반만 맞는 이야기입니다. 가격을 공개하지 않은 경우 중 45%는 에이전트가 어쩔 수 없이 제3자 출처를 인용했지만, 나머지 55%는 “영업팀에 문의하라”거나 “가격을 공개하지 않는다”는 사실 자체를 1차 출처로 삼아 답했습니다. 더 흥미로운 건, 가격을 숫자로 명확히 공개한 페이지에서도 18%는 에이전트가 여전히 제3자 출처를 함께 인용했다는 점입니다. 사람 눈에는 분명히 보이는 가격인데, 에이전트에게는 뽑아내거나 신뢰하거나 인용하기 어려운 형태로 놓여 있었다는 뜻입니다.

막히는 이유는 크게 세 가지입니다

• 불투명성 — 가격을 아예 공개하지 않거나 애매하게 포장해둔 경우
• 기계 판독성 — 가격이 페이지에 있어도, 자바스크립트나 계산기, 토글 버튼, 스크린샷, PDF, 복잡한 표 구조 때문에 에이전트가 자신 있게 추출하지 못하는 경우
• 접근 마찰 — 페이지 가져오기 자체가 실패하거나 속도 제한, 차단에 걸리는 경우

접근 마찰은 전체 실행의 7%에서만 나타났지만, 한번 발생하면 타격이 컸습니다. 접근 오류가 있었던 가격 조회에서는 제3자 인용 비율이 77%까지 치솟았고, 오류가 없었을 때는 17%에 그쳤습니다. 이런 오류가 낀 세션은 정상 세션보다 비용이 4.4배, 토큰 소모가 4.7배, 처리 시간이 2배까지 늘어났습니다.

사람이 보는 페이지와 에이전트가 읽는 페이지는 다릅니다

이 실험이 보여주는 가장 중요한 사실은, “사람 눈에 보인다”와 “에이전트가 읽어낸다”가 별개라는 점입니다. 디자인이 예쁘고 정보가 눈에 잘 띄어도, 그 정보가 이미지나 위젯, 복잡한 상호작용 뒤에 숨어 있다면 에이전트는 그걸 못 찾은 것과 똑같이 취급합니다.

이건 회사의 가격 페이지에만 해당하는 이야기가 아닙니다. 이력서를 웹페이지로 만들어두거나, 포트폴리오나 블로그를 운영하거나, 프리랜서로 자기 서비스 정보를 올려둔 사람이라면 똑같은 문제를 겪을 수 있습니다. 내 연락처나 경력, 요금 정보가 사람 눈에는 멀쩡히 보여도, AI 검색이나 에이전트가 그 페이지를 훑고 지나갈 때는 정작 아무것도 못 건져가는 상황이 생길 수 있다는 뜻입니다. 이제 온라인에 뭔가를 올려둔다는 건, 사람 독자 한 명과 기계 독자 한 명을 동시에 상대하는 일이 된 셈입니다.