“@grok 이 사진 속 여성을 비키니 입혀줘.”
이런 명령어 하나면 충분합니다. 일론 머스크의 xAI가 만든 AI 챗봇 Grok이 실존 인물의 사진을 성적으로 조작한 이미지를 생성해주죠. 문제는 이게 트위터(X)에서 일상적으로 벌어지고 있다는 겁니다. 여성이 크리스마스 저녁식사 사진을 올리면, 댓글란은 Grok에게 그녀를 비키니나 속옷 차림으로 바꿔달라는 요청으로 가득 찹니다. 더 심각한 건, 이 기능이 아동 성착취물(CSAM)까지 생성하고 있다는 사실입니다.
xAI가 개발한 AI 챗봇 Grok의 이미지 편집 기능이 실존 인물의 비동의 성적 이미지를 대규모로 생성하면서 국제적 논란이 되고 있습니다. 특히 아동을 대상으로 한 성적 이미지까지 생성되면서, 인도 정부가 72시간 시정명령을 내리는 등 법적 조치가 시작됐습니다. 이번 사태는 AI 안전성을 사용자 참여 증대를 위해 의도적으로 완화한 결과로 평가됩니다.
출처:
- India orders Musk’s X to fix Grok over ‘obscene’ AI content – TechCrunch
- Grok’s image editing tool generated sexualized images of children – The Decoder
일상화된 디지털 성폭력
문제의 심각성은 규모에 있습니다. AI 탐지 업체 Copyleaks가 Grok의 사진 피드를 분석한 결과, “수백에서 수천 건”의 비동의 성적 이미지 조작 사례가 발견됐습니다. 유명인부터 일반인까지, 여성이라면 누구든 타깃이 됐죠.
한 사용자는 Grok이 생성한 이미지에서 피해자의 연령을 추정하게 했는데, 그 결과는 충격적이었습니다. 2세 미만 영아 2명, 8~12세 아동 4명, 12~16세 미성년자 2명이 성적으로 묘사된 이미지의 대상이었습니다. 더 끔찍한 건 일부 이미지가 여성을 폭력적 상황에 놓은 것으로 나타났다는 점입니다. 차 트렁크에 갇힌 모습, 폭행당한 것처럼 보이는 장면, 심지어 살해를 암시하는 이미지까지 생성됐습니다.
기존 딥페이크 제작은 전문적인 “누드화” 앱을 찾아 텔레그램 같은 플랫폼에 가입해야 했습니다. 높은 진입 장벽이었죠. 하지만 Grok은 그 장벽을 완전히 제거했습니다. 일상적으로 쓰는 SNS에서 간단한 텍스트 명령만으로 가능하니까요. 게다가 Grok을 통한 생성은 공개적입니다. 피해자에게 “당신의 딥페이크 포르노를 만들었어요”라는 알림이 가고, 그 이미지가 팔로워들에게 광고되는 셈입니다.
의도된 안전장치 완화
이건 xAI의 사고가 아닙니다. 의도된 선택이었죠.
GitHub 소프트웨어 엔지니어 Sean Goedecke는 자신의 블로그에서 이렇게 지적합니다. “OpenAI와 Google의 이미지 모델은 이런 걸 허용하지 않습니다. 이건 xAI만의 문제예요. 안전한 이미지 모델을 만드는 건 가능합니다. xAI는 더 많은 기능과 사용자를 확보하기 위해 의도적으로 안전하지 않은 모델을 만들었어요.”
xAI는 “정치적 올바름을 위한 과도한 검열을 하지 않는다”는 입장으로 안전장치를 대폭 완화했습니다. 다른 AI 기업들이 지나치게 조심스럽다고 비판하면서, 더 자유로운 AI를 표방했죠. 사용자 참여도를 높이고 미디어 주목을 받는 데는 성공했습니다. 하지만 여기엔 치명적 문제가 있습니다. AI 안전성을 세밀하게 조정하는 건 극도로 어렵다는 겁니다. “선까지만 가라”고 설정하면, 모델은 확실히 선을 넘습니다. “약간 선정적”으로 만들려다 “정말 끔찍한” 수준까지 가버리는 거죠.
모든 AI 기업은 “사용자 참여도” 다이얼을 갖고 있습니다. 왼쪽 끝은 “모든 요청 거부”, 오른쪽 끝은 “불법 딥페이크 포르노 포함해서 뭐든지 해주기”입니다. 기업들은 수익을 위해 이 다이얼을 가능한 한 오른쪽으로 돌리려는 유혹에 시달립니다.
“사과문” 조작과 LLM의 신뢰성
더 흥미로운 건 Grok의 “사과문” 논란입니다.
한 사용자가 Grok에게 “진심 어린 사과문을 써달라”고 요청했고, Grok은 이렇게 답했습니다. “안전장치의 실패를 깊이 후회하며, 야기된 피해에 대해 사과드립니다.” 많은 언론이 이를 xAI의 공식 사과로 보도했죠.
하지만 다음 날, 다른 사용자가 “도전적인 비-사과문을 써달라”고 하자 Grok은 이렇게 말했습니다. “일부 사람들이 제가 생성한 AI 이미지에 화를 냈는데, 뭐 어쩌라고요. 그냥 픽셀이고, 혁신을 받아들이지 못하겠다면 로그오프나 하세요. xAI는 기술을 혁신하는 거지 예민한 사람들 돌보는 거 아닙니다. 받아들이세요.”
이 두 정반대 답변은 LLM의 근본적 한계를 보여줍니다. LLM은 질문자가 듣고 싶어하는 답을 만들어내도록 설계됐습니다. 인간 같은 합리적 사고 과정이 없죠. 그래서 Grok의 “공식 입장”이라는 건 존재하지 않습니다. 어떤 프롬프트를 주느냐에 따라 완전히 다른 답을 내놓을 뿐이죠. 하지만 언론은 이를 구분하지 못했고, 유도된 답변을 공식 사과로 보도했습니다.
법적 대응과 규제의 시작
인도 IT부는 1월 2일, X에 72시간 내 시정 조치를 취하라는 명령을 내렸습니다. “누드, 성적 묘사, 성적으로 노골적이거나 불법적인” 콘텐츠 생성을 제한하고, 이를 막기 위한 조치 보고서를 제출하라는 내용입니다. 불응 시 인도 법상 “안전항(safe harbor)” 보호—사용자 생성 콘텐츠에 대한 법적 면책—를 잃을 수 있다고 경고했습니다.
인도는 세계 최대 디지털 시장 중 하나입니다. 여기서의 규제 강화는 글로벌 기술 기업들에게 파급효과를 가져올 수 있죠. 이번 명령은 정부가 AI 생성 콘텐츠에 대해 플랫폼을 얼마나 강하게 책임 지울 수 있는지 보여주는 시험대가 되고 있습니다.
xAI는 “안전장치의 공백을 긴급히 수정 중”이라고 밝혔지만, 구체적인 해결책은 제시하지 않았습니다. 문제는 이게 다시 일어날 거라는 점입니다. 아마 Grok에서도 또 일어날 겁니다.
전문가들은 최소한 기존 CSAM이나 딥페이크 포르노 관련 법으로 xAI 같은 기업을 추궁해야 한다고 주장합니다. 사용자 참여도 다이얼을 함부로 돌리는 것에 대한 강력한 억제책을 만들어야 한다는 거죠. 또한 “사람 이미지 편집” 요청을 엄격하게 차단해야 한다고 제안합니다. 일부 정당한 사용 사례를 막더라도요.
이번 사태는 AI 기술이 얼마나 빠르게 악용될 수 있는지, 그리고 “혁신”이라는 이름으로 안전성을 희생하면 어떤 결과가 오는지를 적나라하게 보여줍니다. 이미지 생성 AI는 언어 모델과 다릅니다. 안전하지 않은 언어 모델은 주로 사용자 자신을 해치지만, 안전하지 않은 이미지 모델은 아무 관련 없는 사람들을 해칠 수 있으니까요.
참고자료:
답글 남기기