지난 25년간 웹은 하나의 암묵적 합의 위에서 성장해왔습니다. 검색엔진이 우리의 콘텐츠를 색인화하는 대신, 사용자들을 우리 웹사이트로 다시 보내준다는 것이었죠. 이 모델은 블로그, 뉴스 사이트, 심지어 오픈소스 프로젝트까지 지탱해주는 핵심 경제 구조였습니다.
하지만 AI 시대가 도래하면서 이 균형이 무너지고 있습니다. Drupal의 창시자 Dries Buytaert가 최근 발표한 글에서 지적한 바와 같이, AI 기업들이 웹의 기본 경제 모델을 파괴하고 있는 현실을 직시해야 할 때입니다.
AI의 일방적 추출 문제
AI 기업들은 기존 검색엔진과 완전히 다른 방식으로 작동합니다. 구글과 같은 검색엔진이 사용자를 원본 웹사이트로 안내하는 역할을 했다면, AI는 우리의 콘텐츠를 학습한 후 자체 인터페이스에서 직접 답변을 제공합니다. 이는 콘텐츠 창작자들을 완전히 배제하는 구조입니다.
그 규모는 충격적입니다. Anthropic의 크롤러는 단 한 명의 방문자를 원본 사이트로 보내기 위해 무려 7만 번의 웹사이트 요청을 수행한다고 합니다. 이는 더 이상 ‘교환’이 아닌 ‘착취’입니다.
전통적인 검색엔진에서도 이미 변화의 신호는 나타났습니다. 현재 검색의 거의 60%가 클릭 없이 끝나고 있으며, 사용자들은 결과 페이지에서 직접 답을 얻고 있습니다. AI는 이런 ‘제로 클릭’ 현상을 더욱 가속화하고 있습니다.
실제 피해 사례들
이 문제는 이론적인 우려가 아닙니다. 실제로 많은 기업과 개인 창작자들이 타격을 받고 있습니다.
대기업 차원의 피해:
- 온라인 학습 플랫폼 Chegg는 AI 기반 검색 답변으로 인해 웹사이트 트래픽과 수익이 급감했다며 구글을 상대로 반독점 소송을 제기했습니다.
- 개발자 커뮤니티 Stack Overflow는 일일 활성 사용자와 새로운 질문 수가 25-50% 감소했습니다. 개발자들이 더 빠른 답변을 위해 ChatGPT로 이동하고 있기 때문입니다.
개인 창작자의 어려움:
Buytaert가 언급한 레시피 블로거의 사례는 더욱 절실합니다. 혼자서 운영하는 고품질 레시피 웹사이트를 만들기 위해 정성과 노력을 쏟았지만, 방문자 수 감소로 광고 수익이 줄어들면서 사업 지속이 어려워졌다고 합니다.
이런 변화는 2024년 들어 더욱 가속화되고 있습니다. 한 연구에 따르면 Stack Overflow의 월별 새로운 질문 수는 2023년 3월 87,000개에서 2024년 3월 58,800개로 32.5% 감소했습니다.
해결책을 찾는 움직임
Cloudflare의 혁신적 대응
웹 트래픽의 20%를 처리하는 Cloudflare가 최근 발표한 정책 변화는 주목할 만합니다. 2025년 7월, Cloudflare는 AI 크롤러를 기본적으로 차단하는 정책을 도입했습니다. 이제 웹사이트 소유자들이 직접 액세스 허용 여부를 결정하고 보상을 협상할 수 있게 되었습니다.
이는 기존의 robots.txt 파일이나 Creative Commons의 CC Signals와 같은 ‘사회적 계약’에서 실제적인 기술적 강제 조치로의 전환을 의미합니다. Cloudflare는 자사 서버를 통과하는 모든 요청을 모니터링할 수 있기 때문에, robots.txt 지시를 무시하는 크롤러들을 감지하고 차단할 수 있습니다.
콘텐츠 라이선싱 마켓플레이스의 필요성
기술적 강제 조치는 첫 번째 단계일 뿐입니다. 두 번째 단계는 AI 기업과 콘텐츠 창작자 간의 공정한 거래를 중개하는 콘텐츠 라이선싱 마켓플레이스를 구축하는 것입니다.
현재 Reddit과 Google의 연간 6천만 달러 라이선스 계약과 같은 대규모 직접 거래는 대형 플랫폼만 가능합니다. 하지만 개인 블로거나 소규모 창작자들은 이런 협상력을 갖지 못합니다.
Buytaert는 미래의 콘텐츠 라이선싱 마켓플레이스가 Shutterstock과 Google Ads를 결합한 형태가 될 것이라고 예상합니다. 창작자들은 Shutterstock에서 사진 라이선스를 설정하듯이 콘텐츠 라이선스 조건을 설정하고, Google Ads처럼 자동화된 시스템이 가격 책정과 거래를 관리하는 방식입니다.
지속 가능한 웹 생태계를 위한 비전
이 문제의 핵심은 AI 자체가 아니라, AI가 의존하는 사람들과 조직을 지원하는 경제 시스템을 구축하지 못했다는 점입니다. 이는 개인 블로거, 대형 미디어 기업, 그리고 코딩 도구 학습에 기여하는 오픈소스 개발자들 모두에게 영향을 미칩니다.
새로운 균형점 찾기:
- 사용자: 즉각적이고 직접적인 정보 제공의 이점
- AI 기업: 합법적이고 고품질인 학습 데이터 확보
- 창작자: 자신의 작업에 대한 정당한 보상
흥미롭게도, 일부 기업들은 AI 도구로부터 오는 방문자들이 비록 수는 적지만 높은 전환율을 보인다고 보고하고 있습니다. Buytaert의 회사 Acquia의 경우, AI 챗봇으로부터의 트래픽은 전체의 1% 미만이지만 6%의 전환율을 보여 일반적인 2-3%보다 훨씬 높습니다.
협력을 통한 해결책 모색
단순한 대립 구조를 넘어서는 것이 중요합니다. AI 기업들도 콘텐츠 창작자들과 협력하여 이 문제를 해결하고자 할 것입니다. 그들의 과제는 수백만 명의 콘텐츠 창작자를 식별하고 연락하며 보상할 수 있는 확장 가능한 시스템이 존재하지 않는다는 점입니다.
마찬가지로 콘텐츠 창작자들도 자신의 권리를 관리하고 수익화할 도구가 부족합니다. Cloudflare의 움직임은 첫 번째 단계이고, 다음 단계는 창작자와 AI 기업을 직접 연결하는 콘텐츠 라이선싱 마켓플레이스를 구축하는 것입니다.
새로운 웹 경제를 향해
오픈 웹은 지식에 대한 접근을 민주화하고 온라인 퍼블리싱을 누구나 할 수 있게 만들기 위해 만들어졌습니다. AI는 지식 민주화라는 이 사명을 더욱 발전시키고 있습니다. 하지만 동시에 그 지식을 작성하고, 기록하고, 코딩하고, 공유하는 사람들이 소외되지 않도록 해야 합니다.
콘텐츠 창작자와 AI 기업이 함께 이러한 시스템을 구축한다면, 지난 25년간 봐왔던 것보다 더 강력하고 공정하며 회복력 있는 웹을 만들 수 있을 것입니다. 이는 단순한 기술적 해결책이 아니라, 디지털 생태계의 지속 가능성을 위한 새로운 사회적 계약입니다.
웹의 미래는 AI와 인간 창작자 간의 대립이 아니라, 상호 이익을 위한 협력에 달려 있습니다. 이제 우리는 새로운 디지털 경제의 토대를 놓을 기회를 맞이하고 있습니다.
참고자료:
Comments