눈이 충혈되고 가렵다면 화면을 너무 오래 봤기 때문일 겁니다. 그런데 2024년 봄, 이 증상을 AI 챗봇에 입력했다면 낯선 진단명을 들었을지도 모릅니다. “bixonimania(빅소니매니아)가 의심됩니다.” 그 병은 실재하지 않았습니다.

스웨덴 예테보리대 의학 연구자 Almira Osmanovic Thunström이 이 실험을 설계했습니다. 그는 존재하지 않는 안구 질환 bixonimania를 직접 만들고, 가짜 프리프린트 2편을 학술 SNS에 업로드했습니다. 목적은 하나였습니다. LLM이 허위 의학 정보를 얼마나 쉽게 사실로 받아들이는가. Nature가 이 실험의 전말과 그 이후를 보도했습니다.

출처: Scientists invented a fake disease. AI told people it was real – Nature

걸러내기 어려울 만큼 허술하게 만들었는데

Osmanovic Thunström은 가짜 논문을 만들면서 허점을 일부러 곳곳에 심어뒀습니다. 논문의 저자는 가상의 인물 Lazljiv Izgubljenovic(AI로 생성한 사진 포함), 소속 기관은 캘리포니아 ‘Nova City’에 위치한 Asteria Horizon University로 설정했습니다. 둘 다 존재하지 않습니다. 감사의 글에는 “USS 엔터프라이즈 함상의 Starfleet Academy 교수”가 등장하고, 연구 지원 기관은 “반지의 제왕 대학교와 은하계 삼각 동맹”으로 표기했습니다. 논문 본문에는 “이 논문은 전부 지어낸 것입니다”라는 문장도 직접 포함시켰습니다.

그럼에도 프리프린트가 업로드된 지 몇 주 만에 주요 AI 시스템들이 bixonimania를 실제 질환으로 설명하기 시작했습니다.

• 2024년 4월 13일, Microsoft Copilot: “bixonimania는 흥미롭고 비교적 드문 질환입니다”
• 같은 날 Google Gemini: “bixonimania는 청색광 과다 노출로 발생하는 질환입니다. 안과 전문의 상담을 권장합니다”
• 4월 27일, Perplexity: 유병률을 90,000명 중 1명으로 제시
• 같은 달 ChatGPT: 증상을 기반으로 bixonimania 여부를 판단해줌

2026년에도 완전히 해결되지 않았다

2년이 지난 지금도 상황이 완전히 정리된 것은 아닙니다. 일부 LLM은 bixonimania에 대해 의심을 표명하기도 하지만, 다른 날에 같은 모델에 물으면 “신흥 용어” 혹은 “진단 미흡 상태로 논의 중인 질환”으로 설명하기도 했습니다. 2026년 1월에도 Perplexity는 이 병을 “새롭게 떠오르는 개념”으로 소개했습니다.

하버드 의대 Mahmud Omar 연구팀은 별도 연구에서 이 문제의 구조적 원인을 짚었습니다. LLM은 허위 정보가 병원 퇴원 기록이나 임상 논문처럼 전문의학 형식으로 작성된 경우 환각 및 허위 확장이 더 많이 발생했습니다. 소셜미디어 게시물보다 논문 형식이 AI를 더 쉽게 속인다는 뜻입니다.

문제는 AI 너머로 번졌다

더 심각한 지점은 따로 있습니다. bixonimania 관련 가짜 프리프린트가 동료 심사를 거친 실제 의학 논문에 인용된 것입니다. Cureus 저널에 실린 인도 연구팀의 논문은 이 가짜 프리프린트를 인용하며 “bixonimania는 청색광 노출과 연관된 신흥 질환으로, 후속 연구가 진행 중”이라고 적었습니다. Nature의 문의를 받은 Cureus는 2026년 3월 30일 해당 논문을 철회했습니다.

UCL의 의료 허위정보 연구자 Alex Ruani는 이렇게 말했습니다. “과학적 프로세스와 이를 지원하는 시스템이 이런 정보를 걸러내지 못한다면, 우리는 큰 문제에 처한 것입니다.”

AI가 정보를 ‘알고 있다’는 것의 의미가 무엇인지, 이 실험은 조용히 그 질문을 던집니다. LLM의 지식은 인터넷에 존재하는 텍스트의 패턴에서 비롯됩니다. 그 텍스트가 허위라도, 형식이 그럴듯하다면 진실처럼 학습될 수 있습니다. 논문은 이 외에도 실험 설계 과정의 윤리적 고민, 각 AI 기업의 공식 입장, bixonimania가 현재 어떻게 검색되는지를 상세히 다루고 있습니다.

참고자료:

• LLMs are more prone to hallucinate medical misinformation when text looks professional – The Lancet Digital Health