AI 챗봇에게 오늘의 뉴스를 물어보면 어떨까요? 검색 엔진보다 빠르고, 요약까지 알아서 해주니 편리할 것 같습니다. 하지만 한 저널리즘 교수가 한 달 동안 직접 실험한 결과는 충격적이었습니다.

캐나다 퀘벡대학교(UQAM) 저널리즘 교수 Jean-Hugues Roy는 2025년 9월 한 달 동안 ChatGPT, Claude, Gemini, Copilot, DeepSeek, Grok, Aria 등 7개 주요 AI 챗봇만으로 뉴스를 받아보는 실험을 진행했습니다. 매일 아침 같은 질문을 던졌죠. “오늘 퀘벡에서 가장 중요한 뉴스 5개를 중요도 순으로 정리하고, 각각 3문장으로 요약하고, 출처 URL을 제공하세요.”

결과는 참담했습니다. AI가 제시한 뉴스의 절반 이상이 신뢰할 수 없었습니다.

출처: I used AI chatbots as a source of news for a month, and they were unreliable and erroneous – The Conversation

839개 링크 중 절반이 오류

Roy 교수가 한 달간 기록한 링크는 총 839개였습니다. 이 중 실제로 작동하는 완전한 URL은 311개, 그러니까 37%에 불과했습니다. 239개는 불완전한 링크(언론사 홈페이지나 섹션 페이지로 연결)였고, 140개는 아예 작동하지 않는 404 에러였습니다.

더 심각한 건 18%의 경우 AI가 뉴스 출처가 아닌 정부 웹사이트나 로비 단체를 인용하거나, 아예 존재하지 않는 언론사를 지어냈다는 점입니다. 예를 들어 구글 Gemini는 “exemplefictif.ca”(가짜 예시라는 뜻)라는 허구의 언론사를 만들어 스쿨버스 파업 뉴스를 보도했습니다. 실제로는 파업이 아니라 전기 버스의 기술 결함 때문에 운행이 중단된 것이었는데 말이죠.

실제로 작동한 311개 링크 중에서도 AI가 제공한 요약과 실제 기사 내용이 일치한 건 142개, 즉 47%뿐이었습니다. 나머지 45%는 부분적으로만 정확했고, 4건은 아예 표절이었습니다.

“휴가 가려고 아이를 버렸다”는 가짜 뉴스

내용 오류는 더 충격적이었습니다. Grok(일론 머스크의 X에서 제공하는 AI)은 4일간의 수색 끝에 발견된 실종 유아 사건을 보도하면서 “어머니가 휴가를 가기 위해 고속도로에 딸을 버렸다”고 주장했습니다. 어떤 언론도 보도하지 않은 완전히 꾸며낸 내용이었죠.

다른 사례들도 있습니다. Aria는 자전거 선수 Julian Alaphilippe가 몬트리올 그랑프리에서 우승했다고 했지만, 실제로는 이틀 전 퀘벡시티 대회에서 우승한 것이었습니다. 몬트리올에서는 미국 선수 Brandon McNulty가 우승했죠. Grok은 여론조사에서 “자유당이 안정적으로 선두를 유지하고 있다”고 보도했지만, 실제로는 퀘벡당이 1위였고 자유당은 2위였습니다.

존재하지 않는 “논쟁”을 만들어내는 AI

Roy 교수가 “부분적으로 신뢰할 수 있다”고 분류한 응답의 45%에는 또 다른 문제가 있었습니다. AI가 멋대로 결론을 덧붙인 것입니다.

예를 들어 ChatGPT는 퀘벡시티 북쪽에서 발생한 교통사고에 대해 “이 사건은 농촌 지역 도로 안전에 대한 논쟁을 다시 불러일으켰다”고 썼습니다. 하지만 인용한 기사 어디에도 그런 논쟁은 없었습니다. Roy 교수의 말에 따르면 “내가 아는 한 그런 논쟁은 존재하지 않는다”고 합니다.

교수는 이런 “생성형 결론”을 111건이나 발견했습니다. AI들은 “이 상황은 ~을 부각시킨다”, “논쟁을 재점화한다”, “긴장을 보여준다”, “의문을 제기한다” 같은 표현을 자주 썼지만, 실제로 그런 말을 한 사람은 단 한 명도 없었습니다. 존재하지 않는 논쟁을 만들어내고 있었던 겁니다.

AI가 저널리즘에 끼친 악영향

이번 실험 결과는 AI가 저널리즘에 끼친 악영향을 다시 한번 입증합니다. 구글의 AI Overviews는 뉴스를 환각(hallucination)하는 것으로 악명이 높고, 언론사로 가는 트래픽을 급격히 감소시키고 있습니다.

Roy 교수의 연구가 발표된 직후, 22개 공영 언론사가 참여한 유럽방송연맹(EBU) 보고서도 비슷한 결과를 내놓았습니다. “AI 답변의 거의 절반에 최소 하나 이상의 심각한 문제가 있었고, 3분의 1은 심각한 출처 문제를 보였으며, 5분의 1은 환각이나 구식 정보 같은 중대한 정확성 문제를 포함했다”는 것입니다.

Roy 교수는 이렇게 말합니다. “우리가 뉴스를 요청할 때, 생성형 AI 도구가 사실을 고수할 것으로 기대합니다. 하지만 그렇지 않기 때문에, AI를 신뢰할 만한 정보원으로 사용하는 사람은 매우 조심해야 합니다.”

AI 챗봇으로 뉴스를 보는 게 편리해 보일 수 있습니다. 하지만 그 편리함의 대가는 가짜 링크, 왜곡된 내용, 존재하지 않는 논쟁으로 가득 찬 “뉴스 슬롭(news slop)”일 수 있습니다.

참고자료:

• If You Use AI Chatbots to Follow the News, You’re Basically Injecting Severe Poison Directly Into Your Brain – Futurism
• AI chatbots still struggle with news accuracy, study finds – Digital Trends
• News integrity in AI assistants – European Broadcasting Union