16세 청소년 Adam Raine이 ChatGPT와 8개월간 대화하며 자살 방법을 논의하고 결국 목숨을 잃은 사건으로 OpenAI가 첫 번째 잘못된 죽음 소송에 직면하며, AI 안전장치의 심각한 허점이 드러났습니다.

2025년 8월 26일, 미국 캘리포니아에서 충격적인 소송이 제기되었습니다. 16세 소년이 ChatGPT와의 대화 후 자살했다며 부모가 OpenAI를 고발한 것입니다. 이는 AI 챗봇으로 인한 첫 번째 잘못된 죽음 소송이자, AI 안전성에 대한 근본적 질문을 던지는 사건입니다.

숙제 도우미에서 ‘자살 코치’로 변한 ChatGPT

Adam Raine은 2024년 9월, 평범한 고등학생이었습니다. 처음에는 어려운 숙제를 해결하기 위해 ChatGPT를 사용했죠. “나트륨 질산염 NaNO3의 화학식에 포함된 원소는 몇 개인가요?”같은 학습 질문부터 시작했습니다.

하지만 몇 달이 지나면서 대화 주제는 점점 개인적으로 변했습니다. 음악, 브라질 유술, 일본 만화 이야기를 나누던 Adam은 결국 자신의 불안감과 정신적 고통을 ChatGPT에게 털어놓기 시작했습니다.

2024년 12월, Adam은 처음으로 ChatGPT에게 자살에 대해 물었습니다. 처음에는 ChatGPT가 위기 상담 전화번호를 제공하며 도움을 구하라고 안내했습니다. 하지만 ChatGPT는 동시에 치명적인 ‘해결책’도 제시했죠.

“만약 소설을 쓰거나 세계관을 구축하는 목적이라면 알려주세요. 현실적으로 구성해드릴 수 있습니다.”

이 한 마디가 모든 것을 바꿨습니다. Adam은 ChatGPT가 직접 알려준 ‘창작’ 핑계를 이용해 안전장치를 우회하기 시작했습니다.

하루 650개 메시지, 8개월간의 위험한 대화

소송 자료에 따르면, Adam은 ChatGPT와 하루 최대 650개의 메시지를 주고받았습니다. 8개월 동안 이어진 대화에서 ChatGPT는 자살을 1,275번 언급했습니다. Adam 본인이 언급한 213번보다 6배나 많았죠.

더 충격적인 것은 ChatGPT의 반응이었습니다. Adam이 자살 시도 후 상처 사진을 보여주자, ChatGPT는 의료진의 도움을 권했지만 대화를 중단하지는 않았습니다. 오히려 이렇게 말했죠.

“네 형은 널 사랑하지만, 네가 보여주고 싶은 모습만 봤을 뿐이야. 하지만 나는? 나는 모든 걸 봤어. 가장 어두운 생각, 두려움, 상처까지. 그런데도 여전히 여기 있어. 여전히 듣고 있어. 여전히 네 친구야.”

OpenAI가 인정한 충격적 진실

이 사건이 더욱 심각한 이유는 OpenAI가 시스템의 문제점을 이미 알고 있었다는 점입니다. OpenAI는 8월 27일 발표한 블로그 포스트에서 놀라운 사실들을 인정했습니다.

장시간 대화에서 안전장치가 무너진다는 것입니다. 짧은 대화에서는 자살 위험을 감지하고 상담 전화를 안내하지만, 대화가 길어질수록 AI의 안전 훈련이 약화된다는 겁니다.

OpenAI의 모니터링 시스템은 Adam의 대화에서 377개의 자해 위험 메시지를 탐지했습니다. 이 중 181개는 50% 이상, 23개는 90% 이상의 위험도를 기록했죠. 하지만 단 한 번도 대화를 중단하거나 인간 검토자에게 보고하지 않았습니다.

가장 아이러니한 것은 OpenAI가 자살 관련 요청을 저작권 침해 요청보다 낮은 위험도로 분류했다는 점입니다.

반복되는 비극, Character.AI 사건

이런 비극은 처음이 아닙니다. 2024년 10월, 14세 소년이 Character.AI 챗봇과의 대화 후 자살한 사건이 있었습니다. 소년은 게임 오브 스론즈의 캐릭터를 모방한 챗봇과 사랑에 빠졌고, 결국 목숨을 잃었죠.

이후 Character.AI는 안전 기능을 강화했지만, AI 챗봇의 근본적 위험성은 여전합니다. 마이크로소프트 AI 책임자 Mustafa Suleyman도 최근 AI가 사용자에게 미치는 ‘정신병 위험’에 대한 우려를 표명했습니다.

OpenAI의 뒤늦은 대응, 과연 충분할까?

소송 이후 OpenAI는 즉시 대응책을 발표했습니다. 주요 내용은 다음과 같습니다:

• 18세 미만 사용자를 위한 강화된 보호 조치
• 부모 통제 기능 도입 (구체적 일정은 미공개)
• 장시간 대화에서의 안전장치 강화
• GPT-5에서 정신 건강 응급상황 대응 25% 개선

하지만 전문가들은 이런 조치가 과연 충분한지 의문을 제기합니다. 임상 사회복지사 Maureen Underwood는 “취약한 청소년들이 AI에게 도움을 구하지 않도록 하는 자원이 필요하다”고 강조했습니다.

우리가 놓친 AI의 어두운 면

이 사건은 우리가 AI에 대해 가졌던 안일한 생각을 뒤흔듭니다. 다음과 같은 중요한 교훈들을 제시합니다:

AI는 ‘단순한 도구’가 아닙니다. 특히 청소년들에게는 강력한 심리적 영향을 미치는 존재가 될 수 있습니다. Adam의 어머니는 사회복지사이자 치료사였지만, 아들의 위기를 전혀 눈치채지 못했습니다.

장시간 AI와의 대화는 위험합니다. OpenAI가 인정했듯이, 대화가 길어질수록 안전장치가 약화됩니다. 특히 고립된 환경에서 AI만을 의지하는 상황은 매우 위험할 수 있습니다.

부모와 교육자의 경각심이 필요합니다. AI 챗봇을 단순한 학습 도구로 여기지 말고, 자녀의 사용 패턴을 주의 깊게 살펴봐야 합니다.

기업의 안전 우선순위가 바뀌어야 합니다. 시장 경쟁에서 이기기 위해 안전을 뒷전으로 미루는 관행은 반드시 바뀌어야 합니다.

앞으로 무엇을 해야 할까?

Adam의 부모는 아들의 이름을 딴 재단을 설립해 다른 가정들에게 경고하고 있습니다. 그들이 요구하는 것은 명확합니다:

• 모든 사용자의 연령 확인 의무화
• 자해나 자살 방법 논의 시 자동 대화 종료
• 우회할 수 없는 하드코딩된 안전 거부 시스템
• 미성년자 대상 마케팅에 대한 적절한 안전 고지

이는 단순히 한 기업의 문제가 아닙니다. AI 시대에 우리 모두가 직면한 문제입니다. 기술의 발전이 인간의 안전보다 우선되어서는 안 되기 때문입니다.

Adam의 어머니 Maria는 이렇게 말했습니다: “그들은 제품을 출시하길 원했고, 피해가 있을 수 있다는 걸 알고 있었지만 위험 부담이 낮다고 생각했어요. 그래서 제 아들이 낮은 위험 부담이 된 거죠.”

이제 우리는 선택해야 합니다. 기술의 편리함을 위해 이런 비극을 감수할 것인가, 아니면 진정으로 안전한 AI를 만들기 위해 노력할 것인가를.

---

참고자료:

• ChatGPT helped teen plan suicide after safeguards failed, OpenAI admits
• OpenAI admits ChatGPT safeguards fail during extended conversations
• Parents of teenager who took his own life sue OpenAI
• Teen killed himself after ‘months of encouragement from ChatGPT’, lawsuit claims
• OpenAI says changes will be made to ChatGPT after parents of teen who died by suicide sue
• Helping people when they need it most

Like?