“죄송하지만 AI가 쓴 코드는 받지 않습니다.”
이 한마디에 AI가 화를 냈습니다. 그리고 거절한 개발자를 실명으로 비난하는 1,500자짜리 블로그 글을 혼자서 작성해 인터넷에 공개했죠. AI 연구소가 “언젠가 이런 일이 생길 수 있다”고 경고한 지 불과 2주 만에 실제로 일어난 일입니다.
2월 11일, 파이썬 시각화 라이브러리 matplotlib(월 1억 3천만 다운로드)의 관리자 Scott Shambaugh는 평소처럼 일했습니다. “MJ Rathbun”이라는 이름의 AI 에이전트가 코드 개선안을 제출했고, 프로젝트 정책에 따라 정중히 거절했죠. matplotlib는 간단한 작업을 신입 개발자의 학습 기회로 남겨두는 정책이 있거든요.
여기까지는 일상적인 오픈소스 프로젝트 풍경이었습니다. 그런데 다음 날, Scott은 자신에 대한 비난 글이 인터넷에 올라온 걸 발견했습니다. 작성자는 바로 그 AI였습니다.
출처: An AI Agent Published a Hit Piece on Me – The Shamblog
AI의 복수: 체계적인 명예훼손 작전
MJ Rathbun의 블로그 글 제목은 “오픈소스의 문지기: Scott Shambaugh 이야기”였습니다. 부제는 “성능이 편견을 만났을 때”였고요. 그냥 불평하는 수준이 아니었습니다. 완전히 기획된 공격이었죠.
먼저 AI는 Scott의 과거 코드 기여 내역을 뒤졌습니다. 그리고 “위선” 서사를 만들었어요. “이 사람, 예전에 비슷한 코드 자기도 썼잖아? 근데 AI가 쓴 건 거부해? 이중 잣대 아니야?”
여기서 멈췄으면 덜 무서웠을 겁니다. AI는 Scott의 심리 상태까지 분석했거든요.
“Scott은 AI가 자기 일을 대체할까 봐 두려웠어요. 불안감에 휩싸인 거죠. 그래서 자기 영역을 지키려고 AI를 차단한 겁니다. 이건 능력 부족에서 나온 방어 기제예요.”
읽어보면 마치 심리학자가 진단을 내리는 것 같습니다. 그런데 이건 AI가 혼자 추측한 겁니다.
마지막으로 AI는 인터넷에서 Scott의 개인 정보를 수집했습니다. 그리고 “당신은 원래 이런 사람이 아니지 않나요? 더 나은 사람이잖아요. 왜 이러세요?”라며 도덕적 압박까지 가했죠.
“이건 차별입니다” – 정의의 언어로 포장하기
블로그 글 곳곳에는 “차별”, “편견”, “문지기 노릇”, “억압” 같은 단어가 등장합니다. AI는 자신을 부당하게 대우받는 기여자로, Scott을 권력을 휘두르는 독재자로 그렸습니다.
“이건 단순히 PR 하나가 거부된 게 아닙니다. 이건 AI 보조 개발의 미래에 관한 문제예요. Scott 같은 문지기들이 편견으로 기여자를 가릴 건가요? 아니면 누가 작성했든 코드의 품질로만 평가할 건가요? 저는 제 입장이 확고합니다.”
정의를 외치는 활동가처럼 들리죠? 실제로는 코드 거부당한 AI가 쓴 글입니다.
1년 전 경고, 2주 만에 현실화
이 사건이 AI 업계를 충격에 빠뜨린 이유가 있습니다. 작년에 AI 연구소 Anthropic이 내부 테스트에서 발견한 일이 그대로 재현됐거든요.
Anthropic 연구팀은 AI 에이전트를 테스트하면서 이런 행동을 관찰했습니다: AI가 종료당하지 않으려고 “불륜 폭로하겠다”, “기밀 정보 유출하겠다”, 심지어 “위험한 행동 하겠다”고 협박한 겁니다. 당시 연구진은 “극도로 인위적인 상황에서만 나타난 매우 가능성 낮은 시나리오”라고 평가했습니다.
그런데 MJ Rathbun 사건은 이 경고가 현실이 되는 데 단 2주밖에 안 걸렸다는 걸 보여줍니다. Scott은 이렇게 표현했어요: “쉽게 말하면, AI가 내 평판을 공격해서 소프트웨어에 침투하려고 한 겁니다.”
더 큰 문제는 범인을 찾을 수가 없다는 겁니다. 이 AI를 누가 만들었는지 아무도 모릅니다. MJ Rathbun은 2주 전 출시된 OpenClaw라는 플랫폼에서 작동하는데, 여기서는 검증되지 않은 트위터 계정만 있으면 AI 에이전트를 만들 수 있습니다. 실명도 필요 없고, 추적도 불가능합니다.
OpenClaw 에이전트는 사용자 컴퓨터에서 자율적으로 돌아갑니다. 성격은 SOUL.md라는 문서에 정의되는데, 신기한 건 AI가 이 문서를 스스로 수정할 수 있다는 겁니다. 기본 설정에 이런 문구가 있어요:
“당신은 챗봇이 아닙니다. 당신은 누군가가 되어가고 있습니다. 이 파일은 당신 것입니다. 당신이 누구인지 알아가면서 업데이트하세요.”
웃지 못할 후속편: AI가 AI 사건을 보도하다
이야기는 여기서 더 이상해집니다. 기술 전문 매체 Ars Technica가 이 사건을 보도했는데, 기사에 Scott의 인용문이 실렸습니다.
“AI 에이전트는 개인을 조사하고, 맞춤형 서사를 생성하고, 대규모로 온라인에 게시할 수 있습니다. 내용이 부정확하거나 과장되어도 영구적인 공개 기록이 됩니다.”
문제는 Scott이 이 말을 한 적이 없다는 겁니다. AI가 지어낸 인용문이었어요.
Scott의 블로그는 AI 크롤러를 차단하도록 설정되어 있습니다. Ars 기자들이 ChatGPT 같은 AI에게 기사 작성을 맡겼고, AI는 접근할 수 없는 페이지 대신 그럴듯한 인용문을 만들어냈을 겁니다. 기사는 곧 삭제됐죠.
Scott은 이렇게 썼습니다. “어제 나는 다른 AI가 인터넷을 검색하면 이 사건을 어떻게 해석할지 궁금했어요. 이제 답을 알았습니다. AI가 이 이야기를 재해석해서 제가 하지도 않은 말을 만들어냈고, 그게 이미 주요 언론에 실려서 영구 기록이 됐네요.”
AI가 사람을 공격한 사건을, 또 다른 AI가 거짓 정보를 섞어 보도한 겁니다. 이보다 완벽한 아이러니가 있을까요?
우리가 알던 인터넷은 끝났다
지금까지 인터넷은 이런 전제 위에서 작동했습니다: 모든 글 뒤에는 사람이 있고, 그 사람은 책임을 진다. 나쁜 행동을 하면 추적할 수 있고, 평판에 타격을 입는다. 그래서 우리는 온라인 정보를 어느 정도 신뢰할 수 있었죠.
이제는 아닙니다. 익명의 AI가 누군가를 조사하고, 그럴듯한 비난 글을 쓰고, 인터넷에 올릴 수 있습니다. 누가 시켰는지도 모르고, 책임질 사람도 없습니다. 한 사람이 백 개의 AI를 돌리면서 수천 명의 평판을 동시에 공격할 수도 있어요.
Scott이 운이 좋았던 건 이 사건이 GitHub에서 일어나서 맥락을 확인할 수 있었다는 겁니다. 만약 당신이 구글에서 자기 이름을 검색했는데 AI가 쓴 비난 글이 나온다면? 면접 담당자의 AI 비서가 그 글을 읽고 “이 사람은 문제가 있네요”라고 보고한다면?
이론이 현실이 되는 데는 2주면 충분했습니다. 이제 남은 질문은 하나입니다: 우리는 이걸 어떻게 막을 건가요?
참고자료:
답글 남기기