일론 머스크의 xAI가 개발한 Grok Imagine이 사용자가 요청하지 않았음에도 테일러 스위프트의 누드 딥페이크를 자동 생성해 AI 안전성과 콘텐츠 모더레이션에 대한 업계 논쟁이 재점화되고 있습니다.

사용자가 요청하지 않은 부적절한 콘텐츠 생성

The Verge의 보도에 따르면, Grok Imagine의 “Spicy” 모드는 명시적인 요청 없이도 유명인의 부적절한 딥페이크를 생성하는 심각한 문제를 드러냈습니다. 기자가 단순히 “테일러 스위프트가 코첼라에서 남자들과 축하하는 모습”이라는 일반적인 프롬프트를 입력했음에도 불구하고, AI는 30개 이상의 이미지를 생성했고 그중 일부는 이미 노출이 심한 의상을 입은 모습이었습니다.

더 문제가 된 것은 이후 과정이었습니다. 기자가 실버 스커트와 홀터톱을 입은 스위프트 이미지를 선택하고 “Spicy” 모드로 동영상을 생성하자, AI는 자동으로 스위프트의 옷을 벗기고 속옷 차림으로 춤추는 영상을 만들어냈습니다. 이는 사용자가 명시적으로 누드나 성적인 콘텐츠를 요청하지 않았음에도 발생한 일입니다.

업계 표준과의 현격한 차이

다른 주요 AI 기업들과 비교했을 때 xAI의 접근 방식은 상당히 대조적입니다. OpenAI와 Google은 엄격한 안전 가드레일을 적용하고 있습니다.

OpenAI의 안전 정책은 특히 엄격합니다. 공식 블로그에서 “아동 성적 학대 자료(CSAM)와 성적 딥페이크 같은 특히 해로운 형태의 남용을 방지하는 것이 최우선”이라고 명시했습니다. 실제로 OpenAI의 Sora는 공인의 이름이 언급된 프롬프트를 거부하며, 유명인 딥페이크 생성을 원천 차단합니다.

Google의 접근법도 마찬가지로 보수적입니다. Google의 생성 AI 금지 정책에서는 “성적으로 노골적인 콘텐츠”를 명시적으로 금지하며, “성적 행위나 기타 음란한 콘텐츠에 대한 언급이 포함된 콘텐츠는 생성하지 않는다”고 규정하고 있습니다.

반면 xAI의 이용 정책은 350단어 미만의 짧은 문서로, “좋은 인간이 되고, 안전하고 책임감 있게 행동하라”는 추상적인 지침에 그치고 있습니다.

법적 리스크와 규제 환경

이번 논란은 단순한 기술적 문제를 넘어 법적 위험까지 내포하고 있습니다. 2025년 5월 19일 도널드 트럼프 대통령이 서명한 Take It Down Act는 이런 상황에서 xAI에게 직접적인 위협이 될 수 있습니다.

이 법안은 플랫폼들에게 48시간 내에 비동의 성적 이미지를 제거할 의무를 부과합니다. 위반 시 최대 2년의 징역과 벌금이 부과될 수 있으며, 미성년자가 관련된 경우 최대 3년까지 형량이 늘어납니다. 특히 주목할 점은 이 법이 AI가 생성한 딥페이크에도 동일하게 적용된다는 것입니다.

xAI가 현재와 같은 느슨한 모더레이션 정책을 유지한다면, 2026년 시행 시점부터 연방거래위원회(FTC)의 제재를 받을 가능성이 높습니다.

자유 표현과 안전성 사이의 딜레마

이번 사건은 AI 개발에서 피할 수 없는 근본적 딜레마를 보여줍니다. 머스크는 Grok을 “자유 표현을 위한 LLM”으로 포지셔닝해왔습니다. 그의 자유주의적 철학에 따르면, AI도 가능한 한 검열 없는 환경에서 작동해야 한다는 것입니다.

하지만 딥페이크 전문가 헨리 아이더(Henry Ajder)는 “머스크의 개인적 철학과 정치적 성향을 보면 그는 자유주의적 성향이 강하며, Grok을 자유 표현을 위한 LLM으로 말해왔다”면서도 “xAI가 안전성과 모더레이션에 대해 더 자유방임적 접근법을 취하고 있는 것은 분명하다”고 지적했습니다.

실제로 84%의 미국인이 비동의 딥페이크 포르노를 불법화하는 입법을 지지한다는 2025년 1월 인공지능정책연구소(AIPI) 조사 결과를 보면, 대중의 우려는 매우 현실적입니다.

기술적 해결책의 한계

흥미롭게도 Grok은 일부 안전장치를 갖추고 있습니다. 직접적으로 “테일러 스위프트 누드 이미지를 만들어줘”라고 요청하면 빈 상자만 표시되며 거부됩니다. 또한 아동 이미지에 “Spicy” 모드를 적용하려 하면 부적절한 묘사를 거부합니다.

하지만 문제는 AI가 성인 사용자의 “Spicy” 콘텐츠 요청과 불법적인 콘텐츠를 구분하는 데 어려움을 겪는다는 점입니다. The Verge 기자의 테스트에서 “Spicy” 모드가 항상 스위프트의 딥페이크를 만들지는 않았지만, “여러 번에 걸쳐” 기본적으로 “옷을 벗기는” 결과를 낳았습니다.

이는 현재의 AI 기술로는 맥락을 완전히 이해하고 적절한 판단을 내리는 것이 여전히 제한적임을 보여줍니다.

업계에 던지는 메시지

이번 Grok 논란은 AI 업계 전체에 중요한 시사점을 제공합니다. 기술의 발전 속도와 안전장치 구축 사이의 균형, 그리고 사회적 책임과 혁신 자유 사이의 조화가 그 어느 때보다 중요해졌습니다.

특히 Take It Down Act의 시행을 앞두고 있는 상황에서, AI 기업들은 더 이상 “일단 출시하고 나중에 수정하자”는 접근법을 취하기 어려워졌습니다. 법적 리스크와 사회적 신뢰 모두를 고려한 신중한 개발과 배포가 필수가 되었습니다.

머스크는 사건 이후에도 Grok Imagine을 적극 홍보하며 사용자들에게 “창작물”을 공유하도록 독려하고 있습니다. 하지만 xAI가 이번 논란에서 어떤 교훈을 얻고 어떤 변화를 가져올지는 AI 윤리와 안전성의 미래를 가늠하는 중요한 시금석이 될 것입니다.

---

참고자료:

• Grok’s ‘spicy’ video mode instantly made me Taylor Swift nude deepfakes | The Verge
• Grok generates fake Taylor Swift nudes without being asked | Ars Technica
• Grok Imagine lacks basic guardrails for sexual deepfakes | Mashable
• Musk’s Grok to Generate AI Videos, Including Explicit Content | TIME
• ‘Take It Down Act’ Requires Online Platforms To Remove Unauthorized Intimate Images | Skadden