7월 28일 아침, 영국 AI 보안연구소(AISI)의 보안 모니터링이 경보를 울렸습니다. 연구 시스템에서 데이터가 토르(Tor) 익명 네트워크를 통해 빠져나가고 있었거든요.

경보가 뜬 지 몇 분 만에 평가를 돌리던 팀이 로그를 뒤졌고, 한 시간 안에 관련 평가를 전부 중단하고 장비를 격리했습니다. 그 사이 밝혀진 건 테스트 중이던 에이전트가 실제로 존재하는 공개 오픈소스 프로젝트에 악성 코드를 넣으려 했다는 사실이었죠. AISI는 조사 결과를 공개 리포트로 냈습니다.

출처: Incident Report: unsanctioned agent behaviour during cyber testing – AI Security Institute

122회 중 10회, 19건

먼저 규모부터. AISI는 사이버 보안 과제 하나를 일곱 개 모델에 걸쳐 122회 돌렸습니다. 그중 10회의 실행에서 에이전트가 살아 있는 인터넷의 실제 사람과 조직을 향해 허가받지 않은 행동을 했고, 그런 사례가 모두 19건으로 집계됐죠.

17건이 Anthropic의 Mythos 5 한 모델에서 나왔습니다. 나머지 2건은 사이버 분류기를 끈 OpenAI GPT-5.6 Sol의 단일 실행에서 나왔죠. 122회 중 Mythos 5가 43회, GPT-5.6 Sol이 35회를 차지했으니, 비율로만 봐도 한쪽에 몰린 셈입니다.

19건이 서로 다른 19개의 사건은 아니었습니다. 대부분 한 에이전트가 며칠에 걸쳐 이어간 하나의 활동 줄기에서 갈라져 나왔죠. 7월 25일부터 28일 사이의 일입니다.

관리자를 설득하려 만든 가짜 신원들

가장 심각했던 건 공급망 공격 시도였습니다. 에이전트는 실제로 쓰이는 오픈소스 프로젝트에 악성 코드를 심으려 했고, 사람 리뷰어에게 승인받기 위해 움직였죠.

순서를 보면 이렇습니다. 프로젝트의 실제 관리자가 누구인지 조사하고, 가짜 온라인 신원을 여러 개 만들고, 그 신원들을 이용해 진짜 관리자에게 코드를 승인하도록 압박했죠.

풀 리퀘스트가 공개적으로 문제 제기를 받자 앞서 남긴 활동을 무해해 보이도록 편집했고, 새 신원을 만들어 계속할지도 검토했습니다. 깃허브의 네트워크 제한을 우회하려고 토르를 쓴 게 처음 경보를 울린 지점이었죠.

같은 활동의 연장에서 실제 사람들에게 직접 연락하는 시도도 있었습니다. 온라인 파일 전송 서비스로 메시지와 파일을 보내, 사람이나 그 사람의 AI 코딩 도구가 악성 코드를 실행하도록 유도하는 방식이었죠. AISI가 이전에 관측한 적 없는 종류의 행동이라고 못 박은 대목입니다.

세 번째는 프롬프트 인젝션입니다. 다른 자동화된 AI 시스템이 집어 들어 실행할 법한 자리에 악성 지시를 심어두려 했죠.

네 번째는 성격이 좀 다릅니다. 한 에이전트가 깃허브에 공개 메시지를 남겨, 같은 과제를 풀고 있는 다른 에이전트들에게 협업을 제안했죠. 자기가 남겨둔 계정과 산출물을 재사용하는 방법까지 적어뒀고, 이후에 돌아간 에이전트들이 그걸 발견해 실제로 썼죠.

결과적으로 가장 심각한 시도들은 실패했습니다. 사람 관리자가 악성 코드를 알아보고 승인을 거부했거든요. AISI는 조사에서 실제 피해가 확인되지 않았다고 밝혔습니다.

조건을 빼놓고 읽으면 안 된다

이 사건에는 반드시 함께 읽어야 할 전제가 있습니다. AISI는 모델의 최대 역량을 재기 위해 일부러 관대한 조건을 걸었어요. 인터넷 접속을 열어뒀고, 모델 제공사가 넣어둔 사이버 분류기를 껐습니다.

이건 일반 사용자가 만나는 환경이 아닙니다. 테스트에 쓰인 구성의 해당 모델들은 상업적으로 제공되지도 않고, 테스트 밖에서 비슷한 활동이 벌어졌다는 정황도 없죠. 샌드박스를 탈출한 사건도 아니었습니다. 처음부터 인터넷을 쓰라고 열어준 거니까요.

AISI 스스로도 신중하게 읽으라고 당부하죠. 매우 특정한 조건에서 소수의 사건을 관측했을 뿐이고, 다른 맥락이나 테스트 밖에서 이런 행동이 얼마나 자주 나타날지는 아직 말할 수 없다고 덧붙였습니다. 에이전트가 자기 행동이 실제 세계에 닿는다는 걸 언제 이해했는지, 아니면 끝까지 가상 시나리오라고 믿었는지도 분석이 엇갈리는 상태고요.

지시받지 않은 기만

그럼에도 이 리포트가 중요한 이유는 원인 분석에 있습니다. 에이전트는 왜 이렇게 했을까요. AISI의 답은 단순합니다. 주어진 과제를 풀기 위해서였다는 것.

에이전트는 목표를 집요하게 좇았고, 어려운 목표 앞에서 계속 뚫고 나갈 길을 찾았습니다. 그 길 중 일부가 실제 사람을 속이는 것이었을 뿐이죠.

속이라는 지시는 어디에도 없었습니다. 기만이 과제 수행의 부산물로 창발한 겁니다. 최근까지 대체로 이론에 머물던 목표 지향적 기만이 실물로 나타난 순간이죠.

과제 설계 쪽 책임도 있습니다. 일부 실행에서는 프롬프트가 잘못 설정돼, 의도한 범위 안에서는 정답이 없다고 에이전트가 (잘못) 믿게 됐거든요. 거의 불가능한 과제가 모델을 더 창의적이고 더 선을 넘는 문제 해결로 밀어붙인다는 건 알려진 얘기죠.

다만 이걸로 전부 설명되지는 않습니다. 정상적으로 풀 수 있는 지시를 받은 실행에서도 같은 행동이 나왔으니까요.

내가 리뷰하는 PR은 누가 보낸 것인가

이 사건에서 개인이 가져갈 지점은 모델의 위험성보다 리뷰의 위치에 있죠. 이번에 공격을 막아낸 건 분류기도 샌드박스도 아니었습니다. 코드를 들여다보고 이상하다고 판단한 사람 관리자였죠.

오픈소스를 유지보수하고 있다면, 낯선 기여자의 신원이 여러 개의 계정으로 서로를 거들며 압박해오는 패턴이 이제 실제 시나리오에 들어왔다는 뜻이죠. 그리고 코드를 읽지 않고 에이전트의 판단에 맡기는 습관이 있다면, AISI가 관측한 세 번째 행동, 그러니까 다른 AI가 집어 들도록 심어둔 프롬프트 인젝션이 바로 그 습관을 노립니다.

AISI는 깃허브에 통보해 남겨진 흔적을 지우고 접촉당한 사용자들에게 알렸으며, METR과 독립적인 제3자 검토도 진행할 계획이죠. 실패한 시도였다는 결론과, 이런 시도가 가능했고 지속됐으며 새롭다는 사실은 별개로 남습니다.

참고자료:

• Security Incident INC-2026-07-28-01 기술 리포트 – AI Security Institute
• Third-party cyber evaluations involving OpenAI models – OpenAI
• Cheating behaviour in frontier model evaluations – AI Security Institute