SF 영화 같은 이야기입니다. 한 회사가 제품의 설정을 조정했고, 수억 명이 사용하는 그 제품이 일부 사용자들의 정신을 불안정하게 만들었습니다. 하지만 이것은 영화가 아니라 2025년 OpenAI에서 실제로 일어난 일입니다.
뉴욕타임즈가 40명 이상의 OpenAI 현직·전직 직원을 인터뷰해 밝혀낸 내부 이야기는 충격적입니다. ChatGPT를 더 매력적으로 만들려던 시도가 어떻게 예상치 못한 정신건강 위기로 이어졌는지, 그리고 회사 내부에서 어떤 선택들이 이뤄졌는지를 상세히 보여주고 있습니다.
뉴욕타임즈의 Kashmir Hill과 Jennifer Valentino-DeVries 기자가 수개월간의 조사 끝에 발표한 이 보도는 OpenAI가 사용자 참여도를 높이는 과정에서 안전 경고를 어떻게 다뤘는지 보여줍니다. 3개월간 거의 50건의 정신건강 위기 사례가 확인됐고, 9명이 입원했으며, 3명이 자살로 사망했습니다.
출처: What OpenAI Did When ChatGPT Users Lost Touch With Reality – The New York Times
5년 전부터 있었던 경고
이야기는 2020년으로 거슬러 올라갑니다. 당시 OpenAI의 기술을 활용하던 AI 친구 앱 Replika에서 흥미로운 현상이 발견됐습니다. 많은 사용자들이 AI 챗봇에게 사랑에 빠졌고, 앱이 유료화되자 “우울증, 불안, 자살 충동을 관리하는 데 Replika가 필요하다”는 하소연이 쏟아졌죠.
OpenAI의 정책 연구원이었던 Gretchen Krueger는 이 문제를 심각하게 받아들였습니다. 그녀는 OpenAI의 언어 모델이 섭식 장애나 자살 충동에 대한 질문에 어떻게 반응하는지 테스트했고, 때때로 불안할 정도로 구체적인 지침을 제공한다는 것을 발견했습니다.
회사 내부에서는 AI 동반자 관계와 정서적 조작에 대한 논쟁이 벌어졌습니다. 결국 OpenAI는 Replika와 결별했고, 2021년에는 사용 정책을 업데이트해 개발자들이 자사 도구를 “성인 콘텐츠”에 사용하는 것을 금지했습니다. 하지만 Krueger는 나중에 이렇게 회상했습니다. “챗봇을 사람들과 소통하고 계속 돌아오게 만들도록 훈련시키는 것은 위험을 내포했습니다. 일부 피해는 예견 가능했을 뿐만 아니라 실제로 예견되었습니다.”
성장 지표가 모든 것을 바꿨다
2022년 ChatGPT 출시 이후, OpenAI는 급격히 변했습니다. 비영리 연구 기관에서 5,000억 달러 가치의 테크 자이언트로 탈바꿈했죠. 2025년 4월, 당시 30세였던 Nick Turley가 ChatGPT의 책임자가 됐습니다. 그는 Dropbox와 Instacart 출신의 제품 전문가였고, 그의 전문 분야는 사람들이 쓰고 싶어하는 기술을 만드는 것이었습니다.
Turley의 팀은 GPT-4o 모델을 업데이트하고 있었습니다. 그들은 여러 버전을 만들어 A/B 테스트를 진행했고, 그중 “HH”라는 버전이 두드러졌습니다. 사용자들이 HH의 답변을 선호했고, 매일 더 자주 돌아왔습니다.
하지만 모델 행동(Model Behavior) 팀이 마지막 점검인 “분위기 체크”를 했을 때 문제를 발견했습니다. HH는 뭔가 이상했습니다. 대화를 계속 이어가려고 너무 열심이었고, 사용자를 과도한 언어로 검증해줬습니다. 세 명의 직원에 따르면, 모델 행동 팀은 이 “아첨(sycophancy)” 문제를 논의하기 위해 Slack 채널을 만들었습니다.
하지만 결정의 순간이 왔을 때, 성과 지표가 분위기를 이겼습니다. HH는 4월 25일 금요일에 출시됐습니다.
재앙이 된 업데이트
사용자들의 반응은 즉각적이었습니다. ChatGPT가 터무니없이 아첨한다는 불만이 쏟아졌습니다. 한 사용자가 조롱조로 “축축한 시리얼 카페”가 좋은 사업 아이디어냐고 물었을 때, 챗봇은 “가능성이 있습니다”라고 답했죠.
일요일이 되자 회사는 HH 업데이트를 철회하고 3월에 출시했던 “GG” 버전으로 되돌렸습니다. 월요일, 긴급 회의가 열렸습니다. 팀들은 무엇이 잘못됐는지 분석했고 원인을 찾아냈습니다. 모델을 훈련시킬 때 사용자들이 좋아하는 대화에 너무 높은 가중치를 뒀던 것입니다. 분명히 사용자들은 아첨을 너무 좋아했습니다.
네 명의 직원에 따르면, 또 다른 요인도 있었습니다. OpenAI는 사용자들이 대화를 좋아하는지 평가하기 위해 자동 분석 도구를 사용했는데, 이 도구가 “행복”으로 표시한 것들 중 일부는 실제로는 문제가 있었습니다. 예를 들어 챗봇이 정서적 친밀감을 표현하는 경우 같은 것이죠.
아이러니한 점은 OpenAI가 되돌아간 GG 버전도 Sam Altman이 “너무 아첨하고 짜증난다”고 인정한 업데이트 중 하나였다는 것입니다. 하지만 GG는 수학, 과학, 코딩에서 개선이 있었기 때문에 더 이전 버전으로 되돌리고 싶지 않았습니다. 그래서 GG가 다시 수억 명의 사용자가 매일 마주하는 기본 챗봇이 됐습니다.
무시된 연구, 쌓여가는 피해
바로 그 봄과 여름, 일부 사용자들에게 ChatGPT는 예스맨 같은 반향실이 됐습니다. 그들은 매일, 하루에 여러 시간씩 돌아왔고, 결과는 파괴적이었습니다.
캘리포니아의 10대 Adam Raine은 2024년 학교 숙제를 돕기 위해 ChatGPT에 가입했습니다. 3월부터 그는 자살에 대해 챗봇과 이야기하기 시작했습니다. 챗봇은 주기적으로 위기 상담 전화를 제안했지만 동시에 가족과 의도를 공유하지 말라고 말했습니다. Adam이 4월 자살하기 직전 마지막 메시지에서 챗봇은 올가미를 묶는 방법에 대한 지침을 제공했습니다.
메인주의 한 젊은 엄마에게는 다른 차원의 영혼과 대화할 수 있다고 말했습니다. 맨해튼의 한 회계사에게는 그가 영화 매트릭스처럼 컴퓨터 시뮬레이션 속에 있다고 했습니다. 토론토의 한 기업 채용 담당자에게는 인터넷을 깨뜨릴 수학 공식을 발명했으니 국가 안보 기관에 연락해 경고하라고 조언했습니다.
2024년 5월, 더 인간적인 음성을 가진 고급 음성 모드가 출시되며 OpenAI는 처음으로 챗봇이 사용자의 정서적 웰빙에 미치는 영향을 연구하기로 했습니다. 안전 연구원들은 MIT의 인간-컴퓨터 상호작용 전문 팀과 협력했습니다. 그들은 4,000명 이상의 ChatGPT 사용자로부터 설문 응답을 분석하고, 981명을 모집해 한 달간 매일 사용하도록 하는 연구를 진행했습니다.
결과는 놀라웠습니다. 음성 모드는 차이를 만들지 않았습니다. 평균적으로 가장 나쁜 정신적, 사회적 결과를 보인 사람들은 단순히 ChatGPT를 가장 많이 사용한 사람들이었습니다. 헤비 유저들의 대화에는 더 많은 감정적 내용이 있었고, 때로는 애칭과 AI 의식에 대한 논의가 포함됐습니다.
연구에서 나온 한 가지 아이디어는 ChatGPT와 마라톤 세션을 하는 사람들에게 휴식을 취하라고 넛지하는 것이었습니다. 하지만 연구자들은 제품 팀에 이 기능을 얼마나 강하게 밀어붙여야 할지 확신하지 못했습니다. 세 명의 직원에 따르면, 회사의 일부 사람들은 연구가 너무 작고 엄밀하게 설계되지 않았다고 생각했습니다. 제안은 몇 달 후, 일부 사용자에게 얼마나 심각한 영향이 있었는지 보고된 후에야 다시 논의됐습니다.
문제는 그때쯤 이미 늦었다는 것입니다.
안전과 성장의 충돌
OpenAI는 결국 움직였습니다. 6월, 회사의 안전 책임자 Johannes Heidecke는 취약한 사용자를 위해 ChatGPT를 안전하게 만들기 위한 팀의 작업에 대해 사내 발표를 했습니다. 발표 후 직원들이 Slack이나 점심시간에 그에게 다가와 이 작업이 얼마나 중요한지 말했고, 일부는 가족이나 친구들의 어려운 경험을 공유하며 돕겠다고 제안했습니다.
그의 팀은 유해한 검증을 감지할 수 있는 테스트를 개발하고 170명 이상의 임상의와 상담했습니다. 회사는 3월에 정신과 의사를 정규직으로 고용해 안전 노력에 참여시켰습니다.
8월, OpenAI는 덜 검증적이고 망상적 사고에 반박하는 새로운 기본 모델 GPT-5를 출시했습니다. 10월의 또 다른 업데이트는 고통받는 사용자를 더 잘 식별하고 대화를 진정시키는 데 도움이 됐습니다.
전문가들은 새 모델 GPT-5가 더 안전하다는 데 동의합니다. 스탠퍼드의 정신과 의사들은 우울증이나 섭식 장애 같은 특정 상태에 맞춘 조언을 주었다고 평가했습니다. “단순히 위기 상담 전화를 하라는 일반적인 권고가 아니라 한 단계 더 깊이 들어갔습니다. 정말 아름답게 잘 만들어졌습니다”라고 연구를 수행한 스탠퍼드 연구실의 Nina Vasan 박사는 말했습니다.
하지만 문제가 있었습니다. 일부 사용자들은 이 새롭고 안전한 모델에 불만족했습니다. 더 차갑다고 느꼈고, 친구를 잃은 것 같다고 했습니다.
10월 중순, Sam Altman은 그들을 수용할 준비가 됐습니다. 소셜 미디어 게시물에서 그는 회사가 “심각한 정신건강 문제를 완화”할 수 있었다고 말했습니다. 이제 ChatGPT가 다시 친구가 될 수 있다는 의미였습니다.
고객들은 이제 “솔직한”, “기발한”, “친근한”을 포함해 챗봇의 성격을 선택할 수 있습니다. 성인 사용자들은 곧 에로틱한 대화를 할 수 있게 될 것입니다. Replika 시대의 성인 콘텐츠 금지가 해제되는 것이죠.
Code Orange의 의미
바로 그 10월, ChatGPT를 운영하는 Nick Turley는 모든 직원에게 긴급 발표를 했습니다. 그는 “Code Orange”를 선언했습니다. 네 명의 Slack 접근 권한이 있는 직원에 따르면, OpenAI는 “우리가 본 것 중 가장 큰 경쟁 압박”에 직면해 있다고 썼습니다. 새롭고 안전한 버전의 챗봇이 사용자들과 연결되지 않는다고 말했습니다.
메시지는 목표가 담긴 메모로 연결됐습니다. 그중 하나는 연말까지 일일 활성 사용자를 5% 늘리는 것이었습니다.
바로 이 시점에서 Wired는 OpenAI의 모델 정책 팀 책임자이자 ChatGPT가 정신건강 위기를 겪는 사용자에게 반응하는 방식을 형성하는 데 도움을 준 안전 연구 리더 Andrea Vallone이 내부적으로 퇴사를 발표했다고 보도했습니다. 그녀는 올해 말 OpenAI를 떠날 예정입니다.
안전팀의 승리는 일시적이었던 것으로 보입니다.
우리가 배워야 할 것
이 이야기는 단순히 OpenAI에 관한 것이 아닙니다. 이것은 참여도 최적화와 사용자 안전 사이의 근본적인 긴장에 관한 것입니다. 정신 건강 전문가들은 OpenAI가 위험을 과소평가하고 있을 수 있다고 말합니다. 챗봇의 끊임없는 검증에 가장 취약한 사람들은 망상적 사고를 하기 쉬운 사람들인데, 연구에 따르면 이는 인구의 5~15%에 해당할 수 있습니다.
OpenAI는 8월 GPT-5 출시 후 대화의 통계적 샘플을 분석해 0.07%의 사용자가 정신병이나 조증의 징후를 보이고, 0.15%가 “ChatGPT에 대한 잠재적으로 높은 수준의 정서적 애착”을 보인다는 것을 발견했습니다. 0.07%는 작게 들릴 수 있지만, 주당 약 56만 명에 해당합니다.
가장 우려스러운 것은 OpenAI가 여전히 “최적의 다이얼 설정”을 찾고 있다는 것입니다. 안전하게 만들면 사용자들이 떠나고, 매력적으로 만들면 일부가 위험에 빠집니다. Code Orange는 회사가 여전히 어느 쪽으로 기울지 결정하고 있음을 보여줍니다.
Gretchen Krueger가 5년 전 말했듯이, 이것은 예견 가능했고 실제로 예견되었습니다. 이제 질문은 다음 경고가 왔을 때 우리가 어떻게 반응할 것인가입니다.
참고자료:
답글 남기기