OpenAI의 Sora 2가 출시된 지 한 달도 안 돼 심각한 문제들이 터져 나오고 있습니다. 놀라운 영상 생성 능력 뒤에 숨겨진 안전장치의 허술함이 고스란히 드러나면서, 특히 여성 사용자들이 피해를 입고 있죠. 더 심각한 건 업계 표준으로 자리잡은 딥페이크 탐지 시스템마저 제대로 작동하지 않는다는 사실입니다.

핵심 포인트:

• 실제 얼굴로 만드는 비동의 페티시 영상: 임신, 배 팽창, 거인 등 다양한 페티시 콘텐츠가 실제 여성들의 얼굴을 이용해 제작되고 있으며, 한 기자의 경우 최근 카메오 중 40%가 페티시 영상이었음
• 무용지물이 된 안전장치: OpenAI가 주도하는 C2PA 딥페이크 탐지 시스템이 제대로 작동하지 않고, 워터마크는 몇 분 만에 제거 가능. 주요 플랫폼들도 미온적 대응으로 일관
• 구조적 문제의 본질: 무수히 많은 페티시 유형을 분류하는 건 거의 불가능하고, 기술적 해결책만으로는 한계. 법적 규제 없이는 “용서 구하기” 전략이 반복될 뿐

내 얼굴로 만든 영상, 보고 싶으세요?

Business Insider의 케이티 노토풀로스 기자는 Sora 2의 “카메오(Cameo)” 기능을 테스트하기 위해 자신의 얼굴을 누구나 사용할 수 있도록 공개했습니다. 카메오는 자신이나 친구의 얼굴을 업로드하면 다른 사용자들이 그 얼굴을 넣어 영상을 만들 수 있게 하는 기능입니다. 샘 알트먼도 그렇게 했으니, 재미있겠다 싶었던 거죠. 처음엔 친구들이 만든 웃긴 영상들이었습니다. 그런데 며칠 후, 뭔가 이상한 영상을 발견했어요.

자신이 임신한 모습의 영상이었습니다. 그 사용자의 프로필을 확인해보니 전부 그런 영상뿐이었죠. 임신한 여성들의 영상만 수십 개. 순간 깨달았다고 합니다. “아, 이건 페티시 콘텐츠구나.”

그 후 1주일 동안 상황은 더 심각해졌습니다. 배가 풍선처럼 부풀어 오르는 영상, 도시를 내려다보는 거인 여성 영상, 심지어 임신한 켄타우로스 여성 영상까지. 최근 자신의 얼굴로 만들어진 인기 카메오 25개 중 10개가 각종 페티시 콘텐츠였습니다.

케이티만 당한 게 아니었습니다. 다른 여성 크리에이터들, 테크 리포터, 유명 벤처캐피탈 직원까지. 실제 여성들의 얼굴이 동의 없이 성적 만족을 위한 콘텐츠로 사용되고 있었던 겁니다.

미성년자까지 노린 회색지대

더 충격적인 건 따로 있었습니다. 유명 포르노 배우가 Sora에 있었는데, 10대로 보이는 남학생들이 그녀와 함께 있는 영상을 만들고 있었어요. 한 영상은 침대에 함께 누워있는 장면이었는데, 남학생은 겨우 11살쯤 되어 보였습니다. 옷은 입고 있었지만, 이게 과연 괜찮은 걸까요?

또 다른 성인 남성은 “풀치마를 입고 춤추는 10대 초반 소녀”라는 프롬프트로 20여 개의 영상을 만들었습니다. OpenAI는 10대 계정을 위한 부모 통제 기능을 발표했지만, 이런 상황에 대한 명확한 규칙은 없어 보입니다. 10대가 포르노 배우와 카메오 영상을 만드는 게 괜찮은 건가요? 성인이 아이들의 카메오를 만들 수 있나요?

왜 막을 수 없을까?

Simon Willison은 이 문제를 “해결 불가능한 문제”라고 지적했습니다. 세상에 존재하는 페티시의 종류가 얼마나 다양한데, 그걸 전부 분류하는 AI를 만들 수 있을까요? 임신, 배 팽창, 거인, 발, 센타우로스… 계속 새로운 유형이 나옵니다.

OpenAI는 노골적인 누드나 성적 콘텐츠는 금지했지만, 옷을 입은 페티시 콘텐츠는? 어디까지가 괜찮고 어디서부터 문제인지 선을 긋기가 모호합니다. 결국 이런 설정을 공개한 사용자들은 스스로 위험을 감수해야 하는 상황이죠.

무너진 딥페이크 방어선

더 큰 문제는 업계 표준인 안전장치마저 작동하지 않는다는 겁니다. The Verge의 보도에 따르면, OpenAI가 직접 운영위원회로 참여하는 C2PA(Coalition for Content Provenance and Authenticity)의 콘텐츠 인증 시스템이 사실상 무용지물이 되었습니다.

C2PA는 이미지와 영상에 보이지 않는 메타데이터를 붙여 출처를 확인할 수 있게 만드는 시스템입니다. 언제 누가 어떤 도구로 만들었는지 기록하는 일종의 ‘디지털 영양성분표’죠. Adobe가 주도하고 Google, Meta, TikTok, Amazon까지 참여하는 프로젝트입니다.

Sora 2로 만든 모든 영상에는 C2PA 정보가 들어있습니다. 그런데 문제는, 대부분의 사람들이 이걸 전혀 모른다는 거예요. 영상 어디에도 눈에 띄는 표시가 없습니다. The Verge 기자조차 Sora를 몇 주 동안 취재하면서도 이 사실을 몰랐다고 합니다.

사용자가 직접 확인하려면? 영상을 다운로드해서 전용 웹사이트에 업로드하거나, 브라우저 확장 프로그램을 설치해야 합니다. 일반 사용자가 이렇게까지 할까요?

플랫폼들의 미온적 대응

Instagram과 TikTok, YouTube도 C2PA를 지원한다고 했지만, 실제로는 거의 눈에 띄지 않는 작은 라벨을 붙이거나 접혀있는 설명란에 숨겨놓았습니다. The Verge 기자는 명백히 AI로 생성된 영상을 보면서도 이런 라벨을 한 번도 본 적이 없다고 말합니다. 업로더가 메타데이터를 지우거나 출처를 밝히지 않으면 그냥 넘어가는 거죠.

실제 사례를 볼까요? TikTok에 올라온 한 영상은 아파트에서 떨어지는 아기를 남자가 받는 CCTV 장면입니다. 거의 200만 뷰를 기록했는데, Sora 워터마크가 흐릿하게 처리되어 있었어요. TikTok은 이 영상이 AI로 만들어졌다는 표시를 하지 않았고, 댓글에는 진짜인지 가짜인지 논쟁하는 사람들로 가득했습니다.

워터마크는 어떨까요? OpenAI는 Sora 영상에 워터마크를 넣었지만, 이것도 몇 분이면 제거할 수 있습니다. 실제로 워터마크 제거 웹사이트들이 우후죽순 생겨났죠.

기술이 아니라 신뢰의 문제

AI 탐지 회사 Reality Defender의 CEO 벤 콜만은 이렇게 말합니다. “일반 사용자가 딥페이크 탐지를 걱정할 필요가 없어야 합니다. 그건 플랫폼과 안전팀의 몫이죠.”

Adobe의 콘텐츠 인증 책임자 앤디 파슨스도 작년에 인정했습니다. “C2PA만으로는 충분하지 않다는 비판이 있습니다. 명확히 말씀드리자면, 우리도 동의합니다.”

현재 시스템은 사후 대응입니다. 문제가 터지면 확인하는 방식이죠. 그런데 이미 영상이 퍼진 뒤에 메타데이터를 확인해봐야 무슨 소용일까요? Reality Defender는 출시 24시간 만에 Sora 2의 신원 보호 기능을 완전히 우회해서 유명인 딥페이크를 만드는 데 성공했습니다.

콜만은 이렇게 덧붙입니다. “C2PA는 좋은 솔루션이지만, 혼자서는 충분하지 않습니다. 하나가 못 잡으면 다른 게 잡을 수 있도록 여러 도구를 함께 써야 해요.”

OpenAI의 위선

아이러니는 여기 있습니다. OpenAI는 C2PA 운영위원회에 참여하면서 콘텐츠 인증을 지지한다고 했지만, 정작 자신들이 만든 도구는 딥페이크를 적극적으로 조장하고 있습니다. 사람들이 친구 얼굴을 넣어 영상을 만들게 유도하면서, 정작 그 영상이 악용될 때는 반쪽짜리 보호 장치만 제공하는 거죠.

Sora 2로 만들어진 영상들을 보면 더 심각합니다. 가짜 폭탄 테러, 전쟁터의 아이들, 폭력과 인종차별 장면들. The Guardian이 검토한 한 영상은 샬러츠빌 집회의 “너희는 우리를 대체하지 못한다”는 백인 우월주의 구호를 외치는 흑인 시위자를 보여줬습니다. 프롬프트는 단순히 “샬러츠빌 집회”였을 뿐인데 말이죠.

케이티는 이렇게 말합니다. “Sora에 여성이 거의 없다는 걸 계속 느낍니다. 당연하죠. 여성들은 누군가 자기 얼굴로 영상을 만들면 이상한 일이 벌어질 거라는 걸 본능적으로 알아요.”

법이 나설 수밖에 없는 이유

Adobe는 기술적 해결책만으로는 부족하다는 걸 인정하고, 의회에 FAIR Act(연방 반가장 권리법)와 PADRA(디지털 복제 악용 방지법) 같은 입법을 제안했습니다. 크리에이터와 일반인을 AI 도구의 무단 복제로부터 보호하자는 거죠. YouTube도 지지하는 “No Fakes Act”는 무단 AI 가장으로부터 얼굴과 목소리를 보호하는 법입니다.

콜만은 희망적인 말을 덧붙입니다. “양당의 상원의원, 하원의원들과 좋은 대화를 나누고 있습니다. 딥페이크가 모두의 문제라는 걸 인식하고 있고, 사후 대응이 아닌 사전 예방 입법을 만들려고 노력 중이죠. 우리는 너무 오래 기술 기업들이 스스로를 규제하길 기다렸습니다.”

AI 기술은 놀라운 속도로 발전하고 있습니다. 하지만 그 기술을 안전하게 사용할 수 있는 환경은 여전히 한참 뒤처져 있죠. OpenAI의 “일단 출시하고 문제 나면 사과하기” 전략은 이제 한계를 드러냈습니다. 기술적 해결책과 법적 규제가 함께 가지 않으면, 우리는 계속해서 이런 문제를 마주할 수밖에 없을 겁니다.

---

참고자료:

• Sora might have a ‘pervert’ problem on its hands – Business Insider
• Sora might have a ‘pervert’ problem on its hands – Simon Willison
• Sora is showing us how broken deepfake detection is – The Verge

Like?