논문 안에 “이 표의 데이터를 실제 실험 결과로 채우세요”라는 문장이 그대로 실려 있었습니다. LLM이 남긴 지시문을 저자가 지우지 않고 제출한 겁니다. arXiv는 이제 이런 논문을 올린 연구자를 1년간 퇴출하기로 했습니다.
arXiv는 물리학, 수학, 컴퓨터과학 등 이공계 분야의 주요 프리프린트 서버입니다. 동료 심사 전 논문을 빠르게 공유하는 플랫폼으로, 연구자들 사이에서 사실상의 학술 뉴스피드 역할을 해왔습니다. arXiv의 컴퓨터과학 섹션 의장 Thomas Dietterich가 최근 X를 통해 AI 생성 콘텐츠에 대한 페널티 정책을 공개했습니다.
출처: Send the arXiv AI-generated slop, get a yearlong vacation from submissions – Ars Technica
어떤 경우에 퇴출되나
핵심은 “저자가 내용을 확인했는가”입니다. arXiv가 금지하는 건 AI 사용 자체가 아닙니다. LLM을 쓰더라도 저자가 결과를 검토했다면 문제가 없습니다. 퇴출 대상은 검토하지 않았다는 증거가 명백한 경우입니다.
Dietterich가 제시한 대표적인 사례는 두 가지입니다.
- 할루시네이션된 인용 — 실제로 존재하지 않는 논문이나 저자를 참고문헌으로 넣은 경우
- LLM 메타 코멘트 — “여기에 200단어 요약을 작성해 드렸습니다. 수정이 필요하면 말씀해 주세요” 같은 LLM의 지시문이 논문 본문에 그대로 남아 있는 경우
페널티는 단계적입니다. 먼저 1년간 arXiv 제출이 금지됩니다. 이후에는 arXiv에 논문을 올리려면 반드시 동료 심사를 통과한 저널이나 학술대회에 먼저 게재되어야 합니다. 제출 금지 결정은 모더레이터가 문제를 문서화하고 섹션 의장이 최종 확인하는 2단계 절차를 거치며, 이의신청도 가능합니다.
이미 진행 중이던 흐름
이번 정책이 갑작스럽게 나온 건 아닙니다. arXiv는 지난해 10월에도 리뷰 논문과 포지션 페이퍼에 대한 선제적 조치를 취했습니다. LLM 덕분에 이런 유형의 논문이 급증했고, 그 대부분이 기존 연구를 단순 나열한 수준에 그쳤기 때문입니다. 당시 조치는 해당 유형 논문을 동료 심사 없이는 받지 않겠다는 것이었습니다.
이번 정책은 그 연장선입니다. 리뷰 논문뿐 아니라 모든 제출물에서 LLM 결과물을 그대로 올리는 행위를 명시적으로 금지하고, 이를 어겼을 때의 처벌을 구체화했습니다.
학술 생태계의 신뢰 문제
arXiv의 강경한 입장에는 이유가 있습니다. 할루시네이션된 인용이 논문에 포함되면, 그 논문을 인용하는 다음 연구에도 오류가 전파될 수 있습니다. 실제로 존재하지 않는 연구가 인용 체계 안에서 살아남는 구조가 만들어지는 겁니다.
Dietterich의 논리는 단순합니다. “LLM이 생성한 오류가 논문에 포함되면 저자의 책임”이라는 것, 그리고 명백한 미확인 흔적이 남은 논문은 “나머지 내용도 신뢰할 수 없다”는 판단입니다.
프리프린트 서버가 동료 심사 이전 단계를 담당하는 만큼, 이 단계에서 걸러지지 않은 오류는 학술 생태계 전체로 퍼질 수 있습니다. 이번 정책은 그 입구에서의 대응입니다.
참고자료:
답글 남기기