LLM은 사람처럼 자유롭게 쓸 수 있습니다. 그런데 실제로는 그렇게 쓰지 않죠. AI 텍스트 탐지 업체 Pangram의 CTO 브래들리 에미는 그 이유가 능력이 아니라 훈련 방식에 있다고 말합니다.
“LLM은 결국 인간 텍스트를 학습해 만들어진 것이니 탐지가 불가능하다”는 주장이 종종 나옵니다. 에미는 이 주장이 틀렸다고 반박하며, ChatGPT나 Claude, Gemini 같은 모델이 실제로는 사람의 글쓰기 분포에서 상당히 벗어나 있다고 설명합니다. 비슷한 시기 나온 Pew 리서치의 조사와 LinkedIn의 “AI 슬롭” 버튼 통계를 겹쳐 보면, 이 벗어남이 실제로 얼마나 눈에 띄는지도 함께 보이죠.
출처: LLMs don’t just mimic human text – Bradley Emi (Pangram)
안전 학습이 좁혀놓은 표현의 폭
에미의 설명은 이렇습니다. 초기 언어모델은 그냥 다음 단어를 예측하도록 학습된 “완성 모델”이었던 겁니다. 사람이 쓸 법한 표현의 분포를 최대한 넓게 흉내 내는 게 목표였던 것.
지금 우리가 쓰는 ChatGPT나 Claude 같은 모델은 다릅니다. 지시를 따르는 유용한 비서가 되도록 후처리 과정을 거치는데, 이 과정에서 위험한 답변을 피하고 특정 정치적 발언을 검열하는 행동 규칙을 학습하는 겁니다. 문제는 이 규칙이 표현의 폭 자체를 크게 좁힌다는 것. 에미는 이 현상을 “모드 붕괴”라고 부릅니다. 모델이 사람 언어의 전체 다양성을 따라가는 대신, 자기가 선호하는 한 가지 표현 방식에만 몰리는 상태를 말하는 겁니다.
그 증거로 에미는 후처리를 거치지 않은 원본 모델(베이스 모델)을 듭니다. 베이스 모델은 훨씬 다양한 표현을 쓰기 때문에 Pangram의 탐지기에도 잘 걸리지 않습니다. 헤밍웨이 문체나 특정 커뮤니티 글만 학습한 좁은 파인튜닝 모델도 마찬가지입니다. 다만 이 논리는 워터마크가 없는 AI 텍스트에만 해당하고, 워터마크가 심어진 글은 이런 다양성과 무관하게 대체로 탐지가 가능합니다.
실제로 얼마나 퍼져 있나
Pew 리서치가 최근 발표한 조사는 이 문제의 규모를 숫자로 보여줍니다. ChatGPT가 출시된 2022년 11월 이후 만들어진 영어 웹페이지 중 35%에서 AI 저작의 흔적이 발견됐습니다. Pew는 오래된 페이지를 걸러내기 전 무작위 표본에서는 이 비율이 10% 수준이었다고 밝혔는데, ChatGPT 출시 이후로 범위를 좁히자 수치가 크게 뛴 것.
LinkedIn의 사례는 이 문제가 얼마나 눈에 띄는지를 보여줍니다. LinkedIn은 지난 7월 30일 “AI 슬롭 같다”는 버튼을 도입했는데, 한 달도 안 돼 100만 명 이상이 이 버튼을 눌렀죠. 도입 직전 Pangram 조사에서는 LinkedIn 장문 게시물의 41%가 AI로 완전히 작성된 것으로 분류되기도 했죠. LinkedIn 측은 이 버튼 도입 이후 AI 슬롭으로 분류된 게시물의 노출이 몇 주 만에 40% 줄었다고 밝혔습니다.
그런데 워터마크는 못 알아본다
흥미로운 건 사람들이 실제로 무엇을 알아채고 있느냐입니다. 개발자 션 고데키는 워터마크가 있는 AI 답변과 없는 답변을 섞어 퀴즈를 만들어 독자들에게 구분해보게 했습니다. 결과는 명확했죠. 응답자들은 사실상 무작위로 찍은 것과 다르지 않았습니다.
즉 사람들이 “이거 AI가 쓴 것 같다”고 느끼는 건 눈에 보이지 않는 워터마크 때문이 아닙니다. 문체 자체에서 풍기는 특유의 단조로움 때문이죠. 이 둘을 구분하는 게 중요한 이유는, LinkedIn 버튼을 100만 명이 눌렀다는 사실이 워터마크 탐지 기술의 성과가 아니라 문체 자체가 만들어낸 결과라는 뜻이기 때문입니다.
내 초안이 왜 티가 나는지 알면
이 설명을 뒤집으면 실용적인 힌트가 됩니다. AI 초안이 티가 나는 지점은 대개 안전 학습이 밀어붙인 몇 가지 정형화된 표현입니다. 특정 접속사나 상투적인 정리 문구, 늘 비슷한 문장 구조로 반복해서 몰리는 부분들입니다.
내가 쓴 AI 초안을 손볼 때 “이 표현이 자연스러운가”보다 “이 모델이 평소 이 자리에 가장 즐겨 쓰는 표현이 이거 아닌가”를 의심해보는 게 더 정확한 질문일 수 있습니다. 표현의 폭을 넓히는 것, 그것이 AI 냄새를 지우는 가장 근본적인 방법인 셈이죠.
참고자료:
답글 남기기