AI가 쓴 글을 잡아내는 탐지기들은 평범하게 프롬프트만 던져 만든 텍스트라면 거의 놓치지 않습니다. 그런데 AI에게 “이 작가처럼 써봐”라고 문체를 흉내 내라고 시키면, 같은 탐지기가 글 5개 중 1개꼴로 놓칩니다.

리서치 기관 Epoch AI가 가장 널리 쓰이는 AI 텍스트 탐지기 세 개, Pangram과 GPTZero, Originality.ai를 테스트했습니다. 사람이 쓴 글, 단순 프롬프트로 만든 AI 글, 그리고 특정 작가의 문체를 그대로 흉내 내도록 지시한 AI 글, 이 세 가지를 구분해낼 수 있는지 확인하는 실험이었습니다.

출처: AI detectors rarely flag human writing, but sometimes miss AI text imitating real authors – Epoch AI

평범한 AI 글은 거의 다 잡아낸다

연구팀은 99명의 작가가 쓴 사람 글 495편을 모았습니다. 블로그, 소설, 과학 논문 세 장르에 고르게 걸쳐 있고, 전부 챗GPT가 나온 2022년 11월 이전에 쓰인 글입니다. AI가 학습 과정에서 이 글들을 오염시켰을 가능성을 원천 차단하기 위해서입니다.

일반적인 방식, 그러니까 단순한 프롬프트로 AI에게 글을 쓰게 했을 때는 세 탐지기 모두 거의 완벽했습니다. 놓친 비율이 가장 높아도 0.7%에 그쳤죠. 사람이 쓴 글을 사람 글이라고 정확히 맞히는 것도 대체로 잘 해냈습니다. Pangram과 GPTZero는 단 한 건의 오탐도 내지 않았습니다. 다만 Originality.ai는 495편 중 19편의 사람 글을 AI 글로 잘못 판정해, 오탐률 3.8%를 기록했습니다.

문체를 흉내 내라고 하자 탐지율이 무너졌다

이 결과는 AI에게 특정 작가의 문체를 참고해 글을 쓰라고 지시하자 완전히 달라졌습니다. 연구팀은 Claude Opus 4.8, GPT-5.5, Gemini 3.1 Pro 세 모델에 각각 한 작가의 실제 글 다섯 편을 참고 자료로 주고, 같은 문체로 새 글을 쓰게 했습니다.

이렇게 만든 글 297편 가운데 평균 38편이 AI 탐지기를 그대로 통과했습니다. 비율로 따지면 약 13%. 탐지기별로는 Pangram이 10%, GPTZero가 11%, Originality.ai가 18%를 놓쳤습니다. 특정 조건에서는 이 수치가 최대 5분의 1 수준까지 올라갑니다.

왜 하필 과학 논문에서 가장 취약한가

장르별로 나눠보면 격차가 더 뚜렷합니다. 소설에서는 세 탐지기 모두 누락률이 1~5%에 그쳤습니다. 반면 과학 논문에서는 Pangram이 25%, GPTZero가 24%, Originality.ai가 29%를 놓쳤습니다. 특정 조합에서는 이보다도 심했습니다. Pangram은 제미나이가 쓴 학술 문체 모방 글의 48%를 놓쳤고, Originality.ai는 GPT-5.5가 쓴 학술 글의 39%를 놓쳤습니다.

AI 탐지 기능이 실제로 가장 많이 쓰이는 곳이 다름 아닌 학술 글쓰기 영역이라는 점을 생각하면, 이 격차는 가볍게 넘기기 어렵습니다.

세 탐지기는 서로 다른 방식으로 작동합니다. Pangram은 사람 글과 AI 글로 학습시킨 신경망을 쓰는데, 정작 창업자 스스로 판정 근거를 추적할 수 없는 블랙박스라고 말한 적이 있죠. GPTZero는 단어 선택이 얼마나 예측 가능한지, 그 예측 가능성이 글 안에서 얼마나 일정한지를 봅니다. AI가 사람보다 더 균일하게 글을 쓴다는 전제에서 출발한 방식입니다. Originality.ai는 학습 과정에서 익힌 통계적 패턴을 찾아냅니다. 방식은 다르지만, 세 탐지기 모두 똑같은 맹점에서 무너졌습니다.

이전에 있었던 Authors Guild의 테스트는 탐지기들이 사람 글을 사람 글이라고 잘 맞힌다는 점을 확인한 바 있습니다. 이번 Epoch AI 연구는 그 반대쪽 절반을 채워 넣은 셈입니다. 사람 글에 오탐이 적다는 사실이, AI 글을 얼마나 잘 잡아내는지에 대해서는 아무것도 말해주지 않는다는 것.

참고자료: AI text detectors struggle when language models mimic an author’s style – The Decoder