ChatGPT에게 건강 문제를 물어본 적 있으신가요? 많은 사람들이 그렇게 하고 있습니다. 그런데 문제는 AI가 너무 그럴듯하게 대답해서, 틀린 정보도 진짜처럼 들린다는 겁니다.

OpenAI가 10월 29일 사용 정책을 업데이트하면서 “면허가 필요한 맞춤형 조언(법률·의료 자문 등)을 면허 전문가의 적절한 참여 없이 제공하는 것”을 금지 항목으로 명시했습니다. 회사 측은 이것이 새로운 변경이 아니라 기존 정책을 더 명확하게 표현한 것이라고 강조했죠. 하지만 최근 캐나다에서 발표된 두 연구 결과가 왜 이런 정책이 필요한지를 보여줍니다.

출처: ChatGPT can’t give tailored legal, medical advice: OpenAI – CTV News

정확도는 31%인데 왜 믿게 될까?

워털루 대학교 연구팀이 ChatGPT-4에게 의사 면허 시험 문제를 변형한 개방형 의료 질문들을 던졌습니다. 결과는 충격적이었어요. 답변 중 완전히 정확한 것은 31%에 불과했고, 명확하게 이해할 수 있는 답변도 34%뿐이었습니다.

더 큰 문제는 브리티시컬럼비아 대학교의 10월 연구에서 드러났습니다. ChatGPT가 의료 조언을 할 때 사용하는 언어가 실제 사람보다 훨씬 더 설득력 있고 공감적으로 느껴진다는 거예요. 정보가 부정확해도 AI가 자신감 있고 신뢰할 만한 태도로 말하기 때문에, 사용자들이 잘못된 정보를 분별하기 어렵습니다.

연구자들이 발견한 건 단순히 “AI가 틀릴 수 있다”는 게 아닙니다. AI가 틀렸을 때조차 너무 설득력 있게 말해서, 사람들이 그 정보를 믿고 행동하게 만든다는 점이 핵심이죠.

진료실에서 벌어지는 일

이런 현상은 실제 의료 현장에 영향을 미치고 있습니다. 의사들은 환자들이 이미 AI 도구의 조언을 받고 마음을 정한 채로 병원에 오는 경우를 점점 더 많이 경험하고 있어요. 환자가 병원에 머무는 시간도 달라지고 있습니다. AI 조언을 먼저 받은 환자들은 의사의 설명을 듣기보다는 자신이 AI에게서 들은 내용을 확인받으려는 태도를 보이는 경우가 많죠.

문제는 환자 자신도 그 정보의 출처나 신뢰도를 제대로 평가하지 못한다는 겁니다. ChatGPT는 의학 논문을 학습했고 전문 용어를 유창하게 사용하지만, 개별 환자의 구체적 상황이나 의료 기록, 복잡한 상호작용을 고려한 판단은 할 수 없습니다.

AI 도구를 현명하게 사용하려면

OpenAI의 정책 명확화는 법적 면책이 아니라, 사용자들에게 보내는 신호로 봐야 합니다. ChatGPT는 의료 정보를 이해하는 데는 유용한 도구일 수 있지만, 결정을 내리는 도구가 되어서는 안 된다는 거죠.

연구 결과들이 보여주는 교훈은 명확합니다. AI의 유창함과 자신감을 정확성과 혼동하지 말아야 합니다. 건강 문제에서 “그럴듯한 답”과 “올바른 답” 사이의 차이는 때로 생명과 직결될 수 있으니까요. ChatGPT는 병원 가기 전 기본 정보를 얻는 출발점은 될 수 있지만, 의사를 대체할 수는 없습니다.

참고자료:

• Usage policies | OpenAI – OpenAI 공식 사용 정책
• Self-diagnosing with AI: Canadian study finds ChatGPT can get it wrong – University of Waterloo 연구
• Why empathetic AI can be too persuasive for Canadians to resist – University of British Columbia 연구

Like?