Google I/O 2025가 끝난 지 일주일이 지났지만, 구글 CEO 순다르 피차이(Sundar Pichai)가 남긴 한 마디는 여전히 tech 업계에 큰 파장을 일으키고 있습니다. “AI는 인터넷보다 더 큰 변화를 가져올 것”이라는 그의 발언은 단순한 미래 전망이 아닌, 이미 시작된 현실에 대한 선언처럼 들렸습니다.
더욱 흥미로운 것은 구글 내부에서 나오는 또 다른 목소리입니다. 구글의 검색 관계팀 엔지니어 게리 일리예스(Gary Illyes)는 최근 팟캐스트에서 “모든 사람과 할머니까지도 크롤러를 만들고 있다”며 AI 에이전트들이 웹에 미칠 거대한 영향을 경고했습니다. 이 두 발언을 종합해보면, 우리는 지금 웹 생태계의 근본적인 변화 앞에 서 있다는 것을 알 수 있습니다.
AI 플랫폼 시프트의 새로운 단계
피차이는 현재를 “AI 플랫폼 시프트의 새로운 단계”라고 정의했습니다. 첫 번째 단계가 트랜스포머 기술과 대규모 언어 모델의 검증이었다면, 지금은 그 기술이 실제 제품으로 구현되는 단계라는 것입니다.
“연구가 현실이 되는” 이 시점에서 구글이 보여준 것들은 놀라웠습니다. AI 모드는 단순히 검색 결과를 나열하는 것이 아니라, 사용자의 질문에 맞춘 맞춤형 웹 애플리케이션을 실시간으로 생성합니다. 예를 들어, 여행 계획을 묻는다면 인터랙티브 차트와 함께 완전한 여행 계획 앱을 만들어주는 것입니다.
피차이는 이를 “바이브 코딩(vibe coding)”이라고 표현했습니다. 개발자가 아닌 일반인도 자신의 아이디어를 바로 앱으로 구현할 수 있는 시대가 온다는 것입니다. 이는 인터넷이 블로깅을 가능하게 하고, 모바일이 누구나 동영상 크리에이터가 될 수 있게 한 것과 같은 패러다임 변화입니다.
웹은 이제 데이터베이스 모음일 뿐?
인터뷰에서 가장 충격적이었던 순간은 피차이가 “웹은 일련의 데이터베이스”라고 단언한 부분입니다. 지금까지 우리가 알던 웹사이트들이 사람이 보기 위한 UI 위에 구축된 것이라면, AI 에이전트 시대의 웹은 그런 UI 없이도 작동할 수 있다는 것입니다.
구글 딥마인드의 데미스 하사비스(Demis Hassabis)가 언급한 것처럼, 10년 후의 웹은 지금과 완전히 다른 모습일 수 있습니다. AI 에이전트들은 웹사이트를 “보는” 것이 아니라 데이터를 “읽어” 사용자에게 필요한 정보를 종합해서 제공할 것입니다.
이는 우버, 도어대시, 에어비앤비 같은 플랫폼 기업들에게는 딜레마입니다. 그들이 공들여 만든 사용자 경험과 브랜딩이 AI 에이전트에 의해 추상화될 위험이 있기 때문입니다. 피차이는 이를 레스토랑의 비유로 설명했습니다. 매장에서 식사하는 고객과 배달 주문을 하는 고객을 위해 서로 다른 서비스를 제공하는 것처럼, 웹사이트들도 인간 사용자와 AI 에이전트를 위한 두 가지 인터페이스를 고려해야 할 것입니다.
구글과 퍼블리셔들의 갈등
AI 모드 발표 직후, 뉴스 미디어 얼라이언스(News Media Alliance)는 격렬한 성명을 발표했습니다. “구글이 강제로 콘텐츠를 가져가서 경제적 대가 없이 사용한다. 이는 도둑질의 정의 그 자체”라는 것입니다.
하지만 피차이의 반박도 만만치 않습니다. 구글은 여전히 웹으로 가장 많은 트래픽을 보내는 회사이며, AI 오버뷰와 AI 모드를 통해서도 더 많은 웹사이트로 트래픽을 분산시키고 있다고 주장합니다. 더 나아가 지난 2년간 구글이 크롤링하는 웹페이지 수가 45% 증가했다고 밝혔습니다.
하지만 숫자의 이면에는 복잡한 현실이 있습니다. 전체 트래픽은 증가할 수 있지만, 개별 퍼블리셔가 받는 트래픽은 감소할 수 있고, 더 중요한 것은 트래픽의 질입니다. 사용자가 구글에서 답을 얻고 떠나버린다면, 그 트래픽의 수익화는 어려워집니다.
다가오는 웹 혼잡의 경고
게리 일리예스의 경고는 더욱 구체적입니다. “웹이 혼잡해지고 있다”는 그의 말은 단순한 우려가 아닙니다. 현재 무수히 많은 AI 도구들이 콘텐츠 생성, 경쟁사 분석, 시장 조사를 위해 웹을 크롤링하고 있고, AI 도입이 가속화되면서 이런 트래픽은 기하급수적으로 증가할 것입니다.
특히 흥미로운 것은 일리예스가 밝힌 통찰입니다. “리소스를 잡아먹는 것은 크롤링이 아니라 인덱싱과 데이터 처리”라는 것입니다. 이는 기존 SEO 상식을 뒤집는 발언으로, 웹사이트 최적화의 우선순위를 재고하게 만듭니다.
구글은 작년 한 해 동안 크롤링 효율성을 높이기 위해 노력했지만, 새로운 AI 제품이 출시될 때마다 그 효과는 상쇄되고 있습니다. 일리예스의 표현을 빌리면 “요청당 7바이트를 절약하면, 새로운 제품이 8바이트를 추가로 사용한다”는 것입니다.
웹사이트 운영자들이 준비해야 할 것들
AI 에이전트 시대를 준비하기 위해 웹사이트 운영자들이 고려해야 할 사항들은 다음과 같습니다.
인프라 강화가 가장 중요합니다. 현재의 호스팅 환경이 예상되는 트래픽 증가를 감당할 수 있는지 점검해야 합니다. CDN 최적화, 서버 용량 확장, 응답 시간 개선 등이 필요할 것입니다.
접근 제어 정책도 재검토해야 합니다. robots.txt 파일을 통해 어떤 AI 크롤러를 허용하고 차단할지 결정해야 합니다. 모든 봇을 차단하면 검색엔진 최적화에 문제가 생기지만, 무분별하게 허용하면 서버에 과부하가 걸릴 수 있습니다.
데이터베이스 성능 최적화는 특히 중요합니다. 일리예스가 지적한 “비싼 데이터베이스 호출”을 줄이기 위해 쿼리 최적화와 캐싱 구현이 필수적입니다.
마지막으로 모니터링 체계를 구축해야 합니다. 정상적인 크롤러, AI 에이전트, 악성 봇을 구분할 수 있는 로그 분석과 성능 추적 시스템이 필요합니다.
협업의 가능성
일리예스는 Common Crawl을 해결책의 모델로 제시했습니다. 한 번 크롤링한 데이터를 공개적으로 공유함으로써 중복 트래픽을 줄이는 방식입니다. AI 에이전트 시대에는 이런 협업적 솔루션이 더욱 중요해질 것입니다.
구글의 통합 크롤러 시스템도 좋은 예시입니다. 구글 검색, 애드센스, 지메일 등 모든 서비스가 하나의 크롤링 인프라를 공유하되, 각각 다른 user agent로 식별됩니다. 이런 방식은 웹사이트에 가해지는 부담을 최소화하면서도 필요한 데이터를 효율적으로 수집할 수 있게 합니다.
변화의 물결 속에서
피차이가 그리는 미래는 분명 흥미롭습니다. AI가 인터넷보다 더 큰 변화를 가져온다는 것, 누구나 개발자가 될 수 있는 시대, 물리적 세계와 연결된 로봇틱스까지 포함한 완전한 플랫폼 시프트가 기다리고 있다는 것입니다.
하지만 그 과정에서 현재의 웹 생태계는 큰 도전에 직면할 것입니다. 퍼블리셔들은 새로운 수익 모델을 찾아야 하고, 웹사이트 운영자들은 AI 에이전트 트래픽에 대비해야 하며, 플랫폼 기업들은 에이전트 시대의 비즈니스 모델을 고민해야 합니다.
변화는 이미 시작되었습니다. 중요한 것은 이 변화를 어떻게 준비하고 적응하느냐입니다. 일리예스의 경고처럼 “폭풍이 몰아치기 전에 인프라를 강화하는” 것이 현명한 선택일 것입니다. 그리고 피차이의 비전처럼, 이 모든 변화가 궁극적으로 더 많은 사람들에게 창조의 기회를 제공하고 인류에게 도움이 되는 방향으로 진행되기를 기대해봅니다.
참고자료:
Comments