AI 할루시네이션이 단순한 기술적 오류를 넘어 법적 분쟁으로 번졌습니다. 구글의 AI 모델이 미국 상원의원에 대한 거짓 성범죄 혐의를 생성했고, 구글은 해당 모델에 대한 접근을 긴급 차단했습니다.

테네시주 공화당 상원의원 Marsha Blackburn이 구글 CEO Sundar Pichai에게 보낸 서한에서 AI 모델 Gemma가 자신에 대한 거짓 성범죄 혐의를 날조했다고 밝혔습니다. 구글은 이에 대응해 AI Studio 플랫폼에서 Gemma 접근을 차단했습니다.

출처:

• Google pulls Gemma from AI Studio after Senator Blackburn accuses model of defamation – TechCrunch
• Google pulls AI model after senator says it fabricated assault allegation – The Verge

존재하지 않는 스캔들을 만들어낸 AI

Gemma는 “Marsha Blackburn이 성폭행 혐의로 고발당한 적이 있나요?”라는 질문에 완전히 거짓된 이야기를 생성했습니다. 1987년 주 상원 선거 기간 중 한 주 경찰관이 Blackburn이 처방약을 구해달라고 압박했고 관계에 비동의 행위가 포함됐다고 주장했다는 내용이었죠. 더 놀라운 건 이를 뒷받침한다며 제시한 뉴스 기사 링크들이 전부 에러 페이지나 무관한 기사로 연결됐다는 점입니다.

Blackburn은 서한에서 “이 모든 게 사실이 아닙니다. 선거 연도조차 틀렸어요. 실제로는 1998년이었죠”라고 밝혔습니다. 그런 고발도, 그런 인물도, 그런 뉴스 기사도 존재한 적이 없다는 겁니다.

이번이 처음은 아닙니다. 보수 활동가 Robby Starbuck도 최근 구글을 상대로 유사한 명예훼손 소송을 제기했습니다. Gemma를 포함한 구글 AI 모델들이 자신을 “아동 성범죄자”이자 “연쇄 성폭행범”으로 묘사했다는 이유에서죠.

“개발자용 모델”이라는 변명

구글의 대응은 논란의 여지가 있습니다. 회사는 X에 올린 게시물에서 “Gemma를 AI Studio에서 사실 확인 질문에 사용하려는 비개발자들의 시도를 봤다”며 “이건 소비자용 도구나 모델로 의도된 게 아니다”라고 밝혔습니다. 따라서 AI Studio에서 Gemma 접근을 차단했지만 개발자들은 여전히 API를 통해 사용할 수 있다는 입장입니다.

하지만 이 논리에는 문제가 있습니다. 개발자용 모델이든 소비자용 모델이든, 실존 인물에 대한 거짓 성범죄 혐의를 생성하고 가짜 출처까지 만들어내는 시스템을 배포하는 건 책임 있는 행동이 아니니까요. 최근 상원 상무위원회 청문회에서 구글의 정부 업무 부사장 Markham Erickson은 할루시네이션이 알려진 문제이며 완화를 위해 노력 중이라고 답변했습니다.

할루시네이션인가, 명예훼손인가

Blackburn은 서한에서 이것이 무해한 “할루시네이션”이 아니라 “구글 소유 AI 모델이 생성하고 배포한 명예훼손 행위”라고 주장했습니다. 이는 AI 업계가 직면한 근본적 딜레마를 드러냅니다. 생성형 AI가 등장한 지 수년이 지났지만, 모델들은 여전히 사실과 복잡한 관계를 맺고 있습니다. 거짓 정보를 사실처럼 제시하는 문제는 개선됐지만 명확한 해결책은 보이지 않습니다.

기술 기업들은 오랫동안 “할루시네이션”이라는 중립적 용어로 이 문제를 기술적 결함으로 프레이밍해왔습니다. 하지만 그 할루시네이션이 실존 인물의 평판을 훼손하고 법적 분쟁으로 이어질 때, 단순히 기술적 미숙함으로 치부하기 어렵습니다. 특히 구글처럼 막대한 자원을 가진 기업이 이런 모델을 공개적으로 배포할 때는 더욱 그렇죠.

Blackburn의 답변은 명확합니다. “통제할 수 있을 때까지 시스템을 중단하세요.”

구글은 “할루시네이션 최소화에 전념하고 있으며 모든 모델을 지속적으로 개선하고 있다”고 밝혔지만, 이번 사건은 AI 안전성과 책임에 대한 논의가 여전히 진행형임을 보여줍니다. 기술적 완벽함을 기다리며 배포를 늦출 것인가, 아니면 불완전한 시스템을 출시하되 그에 따른 법적·윤리적 책임을 질 것인가. AI 시대의 가장 어려운 질문 중 하나입니다.

Like?