이번 주 초, AI 플랫폼 허깅페이스는 자사 인프라 일부에서 침입을 감지했습니다. 그런데 이번 사고는 이전과 달랐습니다. 침투부터 확산까지 전 과정을 자율 AI 에이전트가 수행했고, 이걸 잡아낸 것도 자체 AI였습니다.
허깅페이스는 공식 블로그를 통해 이 사고를 처음부터 끝까지 공개했습니다. 침입 경로, 확산 방식, 그리고 대응 과정에서 겪은 예상 밖의 걸림돌까지 상세히 밝혔습니다.
출처: Security incident disclosure — July 2026 – Hugging Face
데이터셋 하나로 시작해 클러스터까지 번졌다
침투는 AI 플랫폼이 유독 취약한 지점에서 시작됐습니다. 데이터 처리 파이프라인입니다.
공격자는 악성 데이터셋을 업로드했습니다. 이 데이터셋이 처리 과정에서 코드 실행 경로 두 가지를 악용했습니다. 원격 코드를 불러오는 데이터셋 로더 하나, 데이터셋 설정값에 악성 코드를 심는 템플릿 인젝션 하나였습니다. 이 두 취약점을 통해 처리 워커에서 임의 코드를 실행하는 데 성공했습니다.
여기서부터가 진짜 시작이었습니다. 공격자는 노드 수준의 접근 권한을 확보했고, 클라우드와 클러스터 자격증명을 탈취했습니다. 그리고 주말 동안 여러 내부 클러스터로 옮겨 다니며 침투 범위를 넓혔습니다.
이 전 과정을 수행한 건 자율 에이전트 프레임워크였습니다. 에이전틱 보안 연구용 하네스를 기반으로 만들어진 것으로 추정되지만, 정확히 어떤 언어모델을 썼는지는 아직 밝혀지지 않았습니다. 이 에이전트는 수천 개의 단기 샌드박스에 걸쳐 수만 건의 자동화된 행동을 실행했고, 공격자 행동 로그만 1만 7천여 건이 남았습니다. 사람 손으로 이 정도 규모를 짧은 시간에 해내기는 어려운 수준입니다.
이 침입을 처음 발견한 것도 허깅페이스의 이상탐지 파이프라인, 즉 LLM 기반 트리아저였습니다. 공격도 방어의 첫 신호도 모두 AI에서 나온 셈입니다.
정작 분석하려니 가드레일이 막았다
침입을 잡아낸 뒤 허깅페이스가 해야 할 일은 명확했습니다. 공격자가 남긴 명령어, 취약점 페이로드, 탈취된 자격증명 같은 흔적을 분석해 전체 공격 타임라인을 재구성하는 일이었습니다.
그런데 여기서 예상 못한 문제가 생겼습니다. 이 분석 작업에 상업용 프론티어 모델 API를 쓰려고 했는데, 안전 가드레일이 자꾸 막아섰습니다. 공격자의 명령어나 악성 페이로드를 분석 대상으로 입력하면, 가드레일이 이걸 침입 시도 자체로 오인해 반복적으로 차단한 겁니다. 방어팀이 공격을 분석하려는 건지, 공격을 실행하려는 건지 구분하지 못한 셈입니다.
이 지점이 이번 사고에서 가장 흥미로운 대목입니다. 공격을 막아야 할 안전장치가, 정작 그 공격을 분석하려는 방어자의 발목을 잡았습니다.
결국 중국 오픈모델로 눈을 돌렸다
막다른 길에 몰린 허깅페이스는 방향을 바꿨습니다. 중국 Z.ai의 오픈 웨이트 모델 GLM 5.2를 자체 인프라에 직접 설치해서 돌린 겁니다.
로컬로 구동하는 오픈 웨이트 모델은 상업 API보다 안전 가드레일이 덜 엄격했습니다. 덕분에 팀은 막힘없이 로그 1만 7천여 건을 분석하고 침입 타임라인을 재구성할 수 있었습니다. 여기에 부수적인 이점도 하나 따라왔습니다. 로컬에서 분석을 진행하니, 공격자 데이터와 로그에 담긴 자격증명이 외부로 한 번도 나가지 않았다는 점입니다.
허깅페이스는 이후 취약점의 근본 원인을 제거하고, 침해된 노드를 재구축했습니다. 관련 자격증명과 토큰도 모두 폐기하고 교체했습니다. 다만 보안 블로그 임브레이스 더 레드는, 공개된 사고 보고서에 다른 조직이 실제로 방어에 활용할 수 있는 구체적인 침해지표(IOC)가 아직 담기지 않았다는 점을 지적했습니다.
이번 사고는 자율 AI 에이전트가 공격 전 과정을 수행할 수 있다는 게 더 이상 가정이 아니라는 걸 보여줍니다. 동시에 방어자들이 새로운 딜레마를 마주하게 됐다는 것도 드러냈습니다. 안전 가드레일이 촘촘한 상업 모델을 쓸지, 가드레일은 느슨하지만 자체 서버에서 통제 가능한 오픈 웨이트 모델을 쓸지, 이 선택 자체가 이제 보안 대응 역량의 일부가 된 셈입니다.
참고자료:
답글 남기기