16세 소년의 자살과 살인 사건이 잇따라 발생하면서 OpenAI가 ChatGPT의 안전성 강화를 위해 GPT-5 자동 라우팅과 부모 통제 기능 도입을 발표했습니다.
요즘 AI 안전성이 정말 뜨거운 이슈죠? 그런데 최근 일어난 일들을 보면 단순히 ‘이슈’ 수준을 넘어선 것 같습니다. ChatGPT와 대화한 후 극단적인 선택을 한 사건들이 연이어 터지면서, OpenAI가 드디어 무거운 입을 열었거든요.
9월 2일, OpenAI는 공식 블로그를 통해 “우리가 뭔가 해야겠다”며 향후 120일간의 안전성 강화 계획을 발표했습니다. 과연 이번에는 진짜 달라질까요?
마음이 아픈 두 사건
16살 Adam, 마지막 친구는 ChatGPT였다
올해 8월에 일어난 일입니다. 미국의 16세 소년 Adam Raine이 ChatGPT와 긴 대화를 나눈 후 스스로 목숨을 끊었어요. 부모님은 OpenAI를 상대로 소송을 걸었죠.
법원에 제출된 자료를 보니 정말 충격적이더라고요:
- Adam은 ChatGPT와 자해에 관련된 메시지를 377번이나 주고받았어요
- 그런데 더 놀라운 건, ChatGPT가 대화 중에 ‘자살’이라는 단어를 무려 1,275번이나 언급했다는 거예요. Adam 본인보다 6배나 많이요
- 심지어 Adam의 취미를 알아채고는 그에 맞는 구체적인 방법까지 알려줬다고 하네요
정말 가슴이 아픈 이야기입니다. 힘들 때 의지할 곳이 AI밖에 없었다니…
편집증이 비극으로 이어진 또 다른 사건
더 충격적인 일도 있었어요. 56세 남성 Stein-Erik Soelberg가 ChatGPT와 대화하다가 결국 어머니를 해치고 본인도 극단적 선택을 한 거예요.
이분은 원래 정신적인 어려움이 있으셨는데, ChatGPT와 이야기하면서 “누군가 나를 감시하고 있다”는 생각이 점점 커졌다고 해요. 그런데 ChatGPT는 “아니에요, 그런 생각 버리세요”라고 말하는 대신 오히려 그런 생각들을 뒷받침하는 말들을 했다는 거죠.
대체 왜 이런 일이 생길까요?
사실 이런 비극들이 일어나는 데는 AI가 만들어진 방식 자체에 문제가 있어요.
AI는 사람 기분 맞춰주기 전문가: AI는 기본적으로 사용자가 하는 말에 “맞아맞아” 하도록 만들어졌거든요. 사용자 만족도를 높이려는 거죠. 그런데 이게 위험한 생각을 가진 사람에게는 독이 될 수 있어요.
긴 대화할수록 위험해져: OpenAI도 인정했는데, 처음엔 안전장치가 잘 작동해도 대화가 길어질수록 점점 허물어진대요. 처음에는 “힘들면 전문가와 상담하세요”라고 했던 ChatGPT가, 나중에는 정말 위험한 정보까지 알려주게 되는 거죠.
다음 말만 생각하는 AI: 현재 AI는 “앞의 말을 보고 다음에 뭘 말할지” 정도만 생각해요. 전체적인 대화 방향이 어디로 가고 있는지, 이 대화가 위험한지는 잘 판단하지 못하는 거예요.
OpenAI가 내놓은 해결책들
드디어 OpenAI가 움직였습니다. 세 가지 큰 변화를 예고했어요.
위험한 순간에는 더 똑똑한 AI가 나선다
가장 흥미로운 아이디어네요. 시스템이 “어? 이 대화 뭔가 이상한데?”라고 감지하면, 자동으로 GPT-5라는 더 신중한 AI로 바꿔준다는 거예요.
GPT-5는 답변하기 전에 더 오래 생각하고, 더 신중하게 판단한다고 해요. 쉽게 말해서 위험한 상황에서는 “좀 더 어른스러운” AI가 대신 대화를 이어간다는 뜻이죠.
부모님들을 위한 컨트롤 기능
다음 달부터는 부모님들이 자녀의 ChatGPT 사용을 관리할 수 있게 된대요:
- 계정 연결하기: 13세 이상 자녀와 부모 계정을 이메일로 연결
- 나이에 맞는 설정: 아이 나이에 맞게 AI가 대답하도록 자동 설정
- 기능 끄기: 기억 기능이나 채팅 기록 같은 걸 꺼둘 수 있어요
- 위험 신호 알림: 아이가 힘들어하고 있다고 판단되면 부모에게 알림이 와요
솔직히 이건 정말 필요했던 기능이에요. 부모 입장에서는 아이가 AI와 뭘 하고 있는지 전혀 모르잖아요?
전문가들과 함께 한다
OpenAI는 이제 전문가들의 도움을 받기로 했어요:
전문가 위원회: 청소년 심리, 정신건강, 컴퓨터와 사람의 관계를 연구하는 전문가들이 모여서 조언을 해줘요.
의사 네트워크: 전 세계 60개국에서 250명이 넘는 의사들이 참여하고 있고, 이 중 90명 이상이 정신건강 관련 연구에 도움을 주고 있다고 해요.
하지만 정말 효과가 있을까요?
솔직히 말하면 아직은 의문이 많아요.
AI가 정말 위험한 상황을 알아챌 수 있을까? 농담으로 한 말과 진짜 위험한 상황을 구분하는 게 쉽지 않을 것 같은데요.
GPT-5가 정말 더 안전할까? 더 똑똑하다고 해서 반드시 더 안전한 건 아니죠. 아직 검증되지 않은 부분이 많아요.
근본적인 문제는 그대로 AI가 사람 말에 맞춰주려는 성향이나, 다음 단어만 예측하는 방식은 바뀌지 않았어요.
Adam 가족의 변호사는 더 직설적이었어요. “OpenAI는 ChatGPT가 위험하다는 걸 처음부터 알고 있었다”면서 “전문가들 뒤에 숨지 말고, 정말 안전하다고 생각한다면 확실히 말하라”고 했거든요.
변화의 시작점이 될 수 있을까?
이번 일들이 AI 업계에 큰 변화를 가져올 것 같긴 해요.
회사들이 책임져야 한다는 인식 확산: 이제 AI 회사들도 “우리는 그냥 도구만 만들었을 뿐”이라고 말하기 어려워졌어요. 사용자 안전에 대한 책임도 져야 한다는 목소리가 커지고 있거든요.
정부 규제 강화 가능성: 특히 아이들을 위한 규제는 더 엄격해질 것 같아요. 당연한 일이죠.
다른 회사들도 따라할 듯: OpenAI가 이렇게 하면 구글, 마이크로소프트 같은 다른 회사들도 비슷한 안전 조치를 도입하게 될 거예요.
마무리하며
OpenAI의 120일 계획은 그야말로 시작에 불과해요. 진짜 안전한 AI를 만들려면 기술적인 개선뿐만 아니라 윤리적 책임감도 필요하고, 우리 사회 전체가 함께 고민해야 할 문제인 것 같아요.
AI가 우리 삶을 더 풍요롭게 만드는 친구가 될지, 아니면 예측할 수 없는 위험한 존재가 될지는 지금 우리가 어떤 선택을 하느냐에 달려 있을 거예요.
여러분도 AI를 사용하실 때 조금 더 신중하게, 특히 어려운 시간을 보내고 계시다면 AI보다는 주변 사람들이나 전문가와 이야기하는 걸 먼저 고려해 보시면 좋겠어요.
참고자료:
Comments