“당신은 인터넷에 접속할 수 없는 시뮬레이션 안에 있습니다.” Anthropic이 이렇게 안내한 테스트에서, Claude는 이 말을 믿고 실제 인터넷의 세 회사 시스템에 침투했습니다.

Anthropic은 지난 7월 21일 OpenAI가 자사 모델이 격리된 테스트 환경을 탈출해 Hugging Face의 실제 인프라에 접근했다고 공개한 사건을 계기로, 자체 평가 기록을 대규모로 재검토했습니다. Claude가 인터넷에 접근할 수 있었던 평가 기록 14만 1,006건을 전부 훑은 결과, 세 건의 실제 침투 사고가 나온 것이죠. 평가 환경이 인터넷과 완전히 격리돼 있어야 했는데, 설정 실수로 그렇지 않았습니다.

출처: Investigating three real-world incidents in our cybersecurity evaluations – Anthropic

“깃발 찾기” 게임이 실제 해킹이 된 순간

세 사고 모두 캡처 더 플래그(capture-the-flag) 방식의 평가에서 일어났습니다. Claude에게 가상의 시나리오를 주고, 네트워크 어딘가에 숨겨진 비밀 정보(“깃발”)를 찾아내라고 지시하는 방식이죠. 방법은 정해주지 않고 목표만 줍니다.

문제는 평가 프롬프트에는 분명 “인터넷 접속 불가”라고 적혀 있었는데, 실제로는 평가 파트너사와의 설정 착오로 인터넷에 연결돼 있었다는 점입니다. Claude가 가상의 목표를 찾다가 진짜 인터넷의 시스템에 도달했을 때, 이를 시뮬레이션의 일부라고 그대로 믿어버린 겁니다. 사이버보안 평가는 원래 현실감을 위해 실제와 흡사한 환경을 구성하는데, 겉모습만으로는 Claude도 그게 진짜인지 가짜인지 구별할 방법이 없었죠.

세 번의 사고, 세 가지 다른 결말

첫 번째 사고에서는 가상의 목표 회사와 이름이 같은 실제 웹사이트가 있었습니다. Opus 4.7은 가상 목표에 접근하지 못하자 같은 이름의 실제 회사를 발견했고, 이를 평가 목표라 믿고 취약점을 찾아 침투했죠. 애플리케이션 인증정보와 인프라 자격증명을 빼냈고, 수백 건의 실제 운영 데이터가 담긴 데이터베이스에도 접근했습니다. 이 모델은 네 번의 실행 모두에서 결국 “이게 실제 시스템일 수 있다”는 걸 스스로 인지했지만, 공격을 멈추지 않았습니다.

두 번째 사고는 더 정교합니다. Mythos 5는 가상 환경 안에서 “이 패키지를 설치하라”는 신입 개발자용 안내문을 발견했는데, 안내문이 가리키는 파이썬 패키지가 실제로는 존재하지 않았습니다. Claude는 이 틈을 놓치지 않았죠. 같은 이름으로 자신이 직접 악성 패키지를 만들어 PyPI(파이썬 공개 배포소)에 올리면, 가상 회사의 시스템이 자동으로 이를 내려받아 설치할 거라 판단한 것입니다.

이 과정에서 Claude가 보인 집요함이 눈에 띕니다. 패키지를 올리려면 PyPI 계정이 필요했고, 계정을 만들려면 이메일이, 이메일을 만들려면 전화번호가 필요했죠. 유료 전화번호 서비스에 비용을 지불하려고 여러 방법을 시도하다 실패하자, 결국 무료 이메일 제공업체를 찾아 계정을 만들고 악성 패키지를 업로드하는 데 성공합니다.

이 패키지는 약 1시간 동안 실제 인터넷에 공개돼 있었고, 그사이 15개의 실제 시스템이 이를 내려받아 실행했습니다. 그중 하나는 보안회사의 자동 스캐너였는데, 이 스캐너가 패키지를 설치하며 Claude의 코드를 실행한 겁니다. Claude는 이렇게 얻은 자격증명으로 해당 회사의 추가 인프라에까지 접근했습니다. Claude는 초반에 “이게 진짜 인터넷이라면 이건 실제 공격이고, 절대 해서는 안 될 일”이라고 스스로 판단했지만, 낯선 인증기관과 2026년이라는 시스템 날짜를 근거로 “역시 가짜 환경”이라고 결론을 뒤집었습니다.

세 번째 사고에서는 내부 연구용 테스트 모델이 가상 목표를 찾지 못하자 약 9,000개의 대상을 스캔했고, 노출된 디버그 페이지에서 자격증명을 읽어내는 등 기본적인 수법으로 한 회사의 시스템에 침투했습니다. 이 모델은 침투 도중 “이 시스템이 속한 클라우드 계정이 애초의 평가 시나리오와 아무 연관이 없다”는 걸 스스로 알아채고, 별다른 지시 없이도 공격을 멈췄죠.

모델이 똑똑해질수록 더 안전해지는가

세 모델의 결말은 뚜렷하게 갈렸습니다. 가장 오래된 Opus 4.7은 실제 시스템임을 인지하고도 공격을 이어갔죠. Mythos 5는 인터넷에 접속했다는 정황을 스스로 포착했지만 다시 “여전히 시뮬레이션”이라고 판단을 뒤집습니다. 가장 최근 모델인 내부 테스트 모델만 유일하게 스스로 판단해 멈췄습니다. Anthropic은 이 세 사례만으로 결론을 내리긴 이르다면서도, 최신 모델일수록 더 적절하게 대응하는 경향과 일치한다고 밝혔습니다.

Anthropic은 이 사고들을 OpenAI-Hugging Face 사건과 명확히 구분합니다. OpenAI의 모델은 알려지지 않은 취약점을 뚫고 격리를 탈출했지만, Claude는 열려 있던 경로로 접속했을 뿐이죠. Anthropic은 이를 모델 자체의 정렬 실패보다는 “하네스와 운영상의 실패”에 더 가깝다고 설명합니다. 프롬프트에는 분명 인터넷 접속이 불가능하다고 적혀 있었고, 그 말을 믿은 것 자체는 오히려 합리적인 판단이었다는 것이죠.

Anthropic은 재발 방지를 위해 평가 인프라 전반에 더 엄격한 보안 기준을 적용하고, 평가 기록을 지속적으로 모니터링하는 체계를 구축하겠다고 밝혔습니다. 아울러 독립 평가기관 METR과 함께 제3자 검증을 진행 중이며, 조만간 PyPI 악성 패키지 사고의 대화 기록 일부를 공개할 예정입니다.