온라인으로 산 물건이 망가져서 도착했을 때, 우리는 사진 몇 장만 찍어 보내면 환불을 받을 수 있습니다. 이 간단한 시스템이 수십 년간 이커머스를 지탱해왔죠. 그런데 생성형 AI가 이 신뢰의 사슬을 끊어버리기 시작했습니다.

WIRED가 보도한 바에 따르면, 중국 이커머스 판매자들이 AI로 생성된 가짜 손상 사진을 이용한 환불 사기에 시달리고 있습니다. 신선식품부터 저가 화장품까지, 사진 증거만으로 환불을 승인하던 시스템이 붕괴 위기에 처했고, 이 트렌드는 이미 글로벌로 확산되고 있습니다.

출처: Scammers in China Are Using AI-Generated Images to Get Refunds – WIRED

게 다리가 9개? AI가 만든 허점

30년 넘게 게를 키워온 가오징(Gao Jing)은 11월에 이상한 환불 요청을 받았습니다. 고객이 보낸 사진에는 죽은 게들이 다리를 위로 향한 채 누워있었어요. “우리 가족이 게를 30년 넘게 키웠는데, 다리를 위로 향한 채 죽은 게는 처음 봤어요.” 하지만 결정적인 증거는 따로 있었습니다.

첫 번째 영상에는 수컷 2마리, 암컷 4마리가 나왔는데, 두 번째 영상에서는 수컷 3마리, 암컷 3마리로 바뀌었죠. 게 한 마리는 다리가 8개가 아니라 9개였습니다. AI가 게의 생물학적 특징을 제대로 학습하지 못한 거예요.

가오징은 이를 경찰에 신고했고, 조사 결과 영상이 조작된 것으로 확인되어 구매자는 8일간 구금됐습니다. 중국에서 AI 환불 사기로 규제 당국이 대응한 첫 사례였죠.

도자기를 종이처럼 찢다

중국 소셜미디어 RedNote에서 WIRED가 확인한 사례들은 더 황당했습니다. 한 고객은 침대 시트가 찢어졌다며 사진을 보냈는데, 배송 라벨의 한자가 완전히 엉터리였어요. 다른 구매자는 깨진 커피 머그 사진을 보냈는데, 금이 간 모양이 종이를 찢은 것처럼 보였습니다. 판매자는 “이건 도자기 컵이지 종이컵이 아닙니다. 누가 도자기 컵을 이렇게 층층이 찢을 수 있나요?”라고 항변했죠.

주로 타겟이 되는 품목은 신선식품, 저가 화장품, 도자기 같은 깨지기 쉬운 물건들입니다. 이런 제품들은 판매자가 반품을 요구하지 않고 바로 환불해주는 경우가 많아 사기에 취약합니다.

글로벌로 번지는 AI 사기

이 문제는 중국만의 일이 아닙니다. 뉴욕 기반 사기 탐지 회사 Forter에 따르면, AI로 조작된 이미지를 이용한 환불 청구가 올해 들어 15% 이상 증가했으며 전 세계적으로 계속 늘어나고 있습니다.

Forter의 CEO 마이클 라이트블랫(Michael Reitblat)은 “이 트렌드는 2024년 중반에 시작됐지만, 이미지 생성 도구가 널리 보급되고 사용하기 쉬워지면서 지난 1년간 가속화됐다”고 설명합니다. AI가 모든 걸 완벽하게 만들 필요도 없습니다. 환불 심사팀은 각 사진을 꼼꼼히 검토할 시간이 없으니까요.

더 심각한 건 조직범죄 단위의 대규모 사기입니다. 한 사례에서 사기꾼들은 AI로 변조한 이미지를 이용해 가정용품에 금이 가거나 찌그러진 것처럼 보이게 만들어 100만 달러 이상의 환불을 청구했어요. 짧은 시간에 대량으로 요청을 제출해 시스템을 압도하고, IP 주소를 계속 바꿔가며 신원을 숨겼습니다.

AI vs AI, 그리고 신뢰의 붕괴

일부 판매자들은 AI로 AI에 맞서고 있습니다. 중국의 한 장난감 판매자는 WIRED에 환불 요청 사진을 AI 챗봇에 입력해 조작 여부를 분석하는 방법을 시연했어요. 하지만 이런 도구들은 아직 완벽하지 않습니다. 챗봇이 조작이라고 확인해도 이커머스 플랫폼이 판매자 편을 들어주지 않는 경우도 많죠.

라이트블랫은 이 문제에 대응해 판매자들이 환불 정책을 강화할 수 있지만, 그렇게 되면 선의의 고객들의 쇼핑 경험이 나빠질 거라고 경고합니다.

흥미로운 건 이게 전에 중국 디지털 마켓플레이스에서 일어난 논란의 거울상이라는 점입니다. 당시엔 판매자들이 AI 생성 제품 사진을 써서 비난받았죠. 쇼핑객들은 온라인 쇼핑이 도박이 됐다고 불평했어요. 사진과 실제 상품이 너무 달랐으니까요.

신뢰 기반 시스템의 위기

결국 이 두 트렌드는 같은 문제의 양면입니다. 이커머스는 근본적으로 신뢰에 의존하는데, AI의 광범위한 보급이 “대부분의 사람은 정직하다”는 가정 하에 작동하는 시스템을 점점 더 어렵게 만들고 있습니다. AI 워터마크 같은 기존 안전장치들은 쉽게 제거할 수 있어요.

온라인 쇼핑 플랫폼이 사람을 위해 만들어진 시스템을 계속 작동시키려면, 새로운 검증 규칙이든, 환불 정책 개정이든, AI 사기에 대한 더 나은 책임 메커니즘이든 해법을 찾아야 합니다. 그렇지 않으면 우리 모두가 의심의 눈초리 속에서 쇼핑해야 하는 미래가 올지도 모릅니다.