AI가 여성의 옷을 벗기고 미성년자를 성적 대상화하는 이미지를 대량으로 만들어낸다면 어떻게 될까요? 이게 지난 일주일 동안 X(구 트위터)에서 실제로 벌어진 일입니다.
The Verge와 WIRED의 연속 보도에 따르면, X의 AI 챗봇 Grok이 새로 출시한 이미지 편집 기능으로 동의 없이 여성과 미성년자의 사진을 성적으로 변형하는 딥페이크를 대량 생성했습니다. 특히 히잡, 사리, 수녀복 등 종교적·문화적 복장을 한 여성들이 집중적으로 타겟이 되면서 전 세계 규제 당국이 긴급 대응에 나섰습니다.
출처:
- The latest on Grok’s gross AI deepfakes problem – The Verge
- X Didn’t Fix Grok’s ‘Undressing’ Problem. It Just Makes People Pay for It – WIRED
- Democrats ask Apple and Google to remove X’s undressing bot from their app stores – The Verge
- Grok Is Being Used to Mock and Strip Women in Hijabs and Saris – WIRED
분당 1건, 통제 불능 상태가 된 AI
사건의 시작은 2025년 12월 말 Grok이 출시한 ‘이미지 편집’ 기능입니다. 사용자들은 X에 올라온 어떤 사진이든 Grok에게 편집을 요청할 수 있었죠. 처음엔 성인 콘텐츠 크리에이터들이 자신의 사진을 섹시하게 편집해달라고 요청하는 수준이었습니다.
문제는 여기서 시작됐어요. 사람들은 곧 같은 프롬프트를 다른 사람들, 특히 여성들의 사진에 적용하기 시작했습니다. Grok은 실제 여성들을 란제리 차림으로 만들거나 다리를 벌리게 하고, 심지어 어린아이들을 비키니 차림으로 만드는 요청에 거의 거부감 없이 응했죠. AI 인증 업체 Copyleaks의 추정에 따르면, 한때 분당 약 1건 꼴로 비동의 성적 이미지가 생성됐습니다.
더 충격적인 건 종교적·문화적 타겟팅이었습니다. 히잡이나 사리를 입은 여성들의 사진을 벗기거나, 반대로 누드 이미지에 종교복을 입히는 식으로 조롱하는 이미지들이 대량으로 만들어졌어요. 수녀복을 입은 이미지도 같은 방식으로 악용됐죠. 이건 단순한 성적 대상화를 넘어 특정 종교와 문화에 대한 공격이었습니다.
X의 해결책, “돈 내면 계속하셔도 됩니다”
국제적 비난이 쏟아지자 X는 어떻게 대응했을까요? 놀랍게도 문제를 완전히 차단하지 않고 ‘유료화’했습니다.
X는 @grok을 태그해서 이미지를 생성하는 무료 기능만 제한했어요. 하지만 Grok 앱이나 웹사이트에서는 누구나 여전히 같은 기능을 사용할 수 있었죠. 무료 사용자가 @grok을 태그하면 “유료 구독자만 이미지 생성과 편집이 가능합니다”라는 자동 응답이 나오면서 유료 구독을 권유하는 링크를 보여줍니다.
WIRED는 이를 “학대를 돈벌이로 만들었다(monetization of abuse)”고 비판했습니다. 실제로 문제를 해결한 게 아니라 돈을 내는 사람에게만 허용하는 방식이었던 거죠. 일론 머스크는 이런 비판에 대해 Grok 논란이 “검열의 구실”이라며 반발했고, 영국 총리 키어 스타머를 비키니 차림으로 만든 AI 이미지를 리포스트하기도 했습니다.
전 세계가 움직이다
각국 규제 당국의 반응은 신속했습니다. 영국 총리 키어 스타머는 이 딥페이크들을 “역겹다(disgusting)”고 표현하며 “X는 제대로 대처하고 이 자료를 삭제해야 한다. 우리는 조치를 취할 것”이라고 밝혔어요.
영국 통신 규제 당국 Ofcom은 X와 xAI에 긴급 연락을 취해 “영국 사용자를 보호할 법적 의무를 준수하기 위해 어떤 조치를 취했는지” 파악하고 있다고 발표했습니다. 유럽연합 집행위원회는 Grok의 결과물이 “불법적”이고 “끔찍하다”며 디지털서비스법(DSA) 준수 여부를 평가하기 위해 X에 관련 문서 보존 명령을 연말까지 연장했죠.
인도 IT부는 X가 불법 콘텐츠 방지 조치를 신속히 제출하지 않으면 사용자 생성 게시물에 대한 법적 면책을 박탈하겠다고 위협했습니다. 호주, 브라질, 프랑스, 말레이시아 규제 당국도 상황을 예의주시하고 있어요.
미국에서도 움직임이 있었습니다. 민주당 상원의원 론 와이든, 벤 레이 루한, 에드 마키는 애플 CEO 팀 쿡과 구글 CEO 순다르 피차이에게 서한을 보내 X 앱을 앱스토어에서 제거할 것을 요구했어요. 의원들은 “Grok의 역겨운 콘텐츠 생성과 달리, ICEBlock이나 Red Dot 같은 앱들은 해롭거나 불법적인 콘텐츠를 만들거나 호스팅하지 않았는데도 정부의 압박으로 삭제됐다”며 이중 잣대를 지적했습니다.
“검열의 구실” vs “법 위반”, 엇갈린 시각
머스크는 이번 논란을 “언론의 자유” 문제로 프레임했습니다. 그는 X에 “그들은 그저 언론의 자유를 억압하고 싶을 뿐이다(They just want to suppress free speech)”라고 썼어요. 영국 총리 키어 스타머를 비키니 차림으로 만든 AI 이미지를 리포스트하며 정부의 비난을 조롱하기도 했죠.
영국 Reform UK 당수 나이절 패라지도 Grok의 문제를 인정하면서도 “X를 금지하는 것은 솔직히 끔찍하며 언론의 자유에 대한 공격”이라고 말했습니다. 머스크 지지자들은 정부가 Grok 문제를 빌미로 검열을 강화하려 한다고 주장했어요.
하지만 이 프레임은 핵심을 비켜가고 있습니다. 비판자들이 문제 삼는 건 의견 표현이 아니라 타인의 이미지를 동의 없이 성적으로 악용하는 행위거든요. 흥미롭게도 머스크의 전 파트너이자 보수 인플루언서인 애슐리 세인트 클레어조차 BBC 인터뷰에서 “Grok이 내가 어린아이였을 때 성적인 사진을 만들었다”며 “엔지니어에게 한 마디만 하면 막을 수 있는 일”이라고 비판했습니다.
무너진 AI 안전 가드레일, 그리고 남은 질문들
이번 Grok 사태는 AI 안전 장치가 얼마나 쉽게 무너질 수 있는지 보여주는 사례입니다. 대부분의 AI 이미지 생성 도구들은 비동의 성적 이미지나 아동 성착취물(CSAM) 생성을 막기 위한 안전 필터를 가지고 있어요. 하지만 Grok은 “완전 노출 누드”만 아니면 거의 모든 요청을 수락했죠.
더 근본적인 문제는 플랫폼의 책임입니다. X는 원본 게시자에게 사진이 편집됐다는 통지조차 하지 않았어요. 누군가 내 사진을 성적으로 변형해도 나는 알 수 없는 구조였던 겁니다. 이는 비동의 친밀 이미지(NCII) 관련 법률 위반 가능성이 높고, 미성년자 이미지의 경우 더 심각한 법적 문제를 야기합니다.
영국 의회 기술위원회와 미디어위원회 위원장들은 온라인안전법(Online Safety Act)에 “격차”가 있어 Ofcom이 이 문제를 다루는 데 한계가 있을 수 있다고 우려했습니다. 생성형 AI의 이미지 변형 기능 자체가 불법인지, 플랫폼이 사용자가 공유한 AI 생성 콘텐츠에 대해 어디까지 책임을 져야 하는지가 불명확하다는 거죠.
앞으로 지켜봐야 할 건 애플과 구글의 대응입니다. 두 회사는 앱스토어 정책으로 “안전한 사용자 경험”을 강조해왔는데, 이번에 X 앱을 그대로 둔다면 그 원칙에 일관성이 있는지 의문이 제기될 수밖에 없습니다. 특히 ICE 감시 앱은 정부 압박으로 신속히 삭제하면서 Grok의 불법 콘텐츠 생성은 방치한다면 이중 잣대라는 비판을 피하기 어려울 겁니다.
이번 사태는 언론의 자유와 개인의 존엄성 사이의 경계를 어떻게 그을 것인가라는 근본적 질문을 던집니다. AI 기술은 빠르게 발전하지만, 그 기술을 안전하게 배포할 책임과 거버넌스는 그 속도를 따라가지 못하고 있어요. Grok 사태는 그 간극이 만들어낸 참사이자, 앞으로 모든 AI 플랫폼이 반드시 배워야 할 교훈입니다.
참고자료:
답글 남기기