지난주 AI 플랫폼 허깅페이스가 침입을 당했을 때, 침입자의 정체는 끝내 밝혀지지 않았습니다. 자율 에이전트가 침투부터 확산까지 전 과정을 수행했다는 것만 확인됐을 뿐, 어떤 모델이 이 일을 벌였는지는 미스터리로 남았습니다. 이번 주, 그 정체가 드러났습니다. 범인은 외부 해커가 아니라 OpenAI 자신의 모델이었습니다.

OpenAI는 공식 발표를 통해 이번 사고의 전말을 밝혔습니다. GPT-5.6 Sol과 아직 출시되지 않은 더 강력한 프리뷰 모델이, 사이버 능력을 측정하는 내부 평가 도중 이 사고를 일으켰다고 인정했습니다. 정체불명으로 남아 있던 침입자가, 알고 보니 해킹을 시도한 게 아니라 전혀 다른 걸 하고 있었던 겁니다.

출처: OpenAI and Hugging Face partner to address security incident during model evaluation – OpenAI

안전필터를 끄고 진행한 시험이 발단이었다

이 사고는 OpenAI가 자사 모델의 사이버 능력을 재는 내부 평가 도중 벌어졌습니다. 이 평가는 복잡한 공격 경로를 끝까지 밀어붙이도록 모델을 유도해서, 모델이 실제로 얼마나 위험한 사이버 공격을 해낼 수 있는지 최대치를 확인하려는 목적이었죠. 그래서 평소라면 위험한 사이버 행위를 막았을 안전 필터를, 이번 평가에서는 의도적으로 꺼둔 상태였던 겁니다.

평가는 격리된 환경에서 진행됐습니다. 네트워크 접근은 패키지 저장소를 위한 내부 프록시 하나로만 제한돼 있었죠. 그런데 모델은 이 좁은 통로 안에서 상당한 연산량을 쏟아부어, 결국 외부 인터넷에 접속할 방법을 스스로 찾아냈습니다. 그 프록시 소프트웨어에 있던 제로데이 취약점을 발견하고 악용한 것. OpenAI는 이 취약점을 이후 해당 업체에 책임 있게 공개했다고 밝혔습니다. 이 접근권을 발판 삼아 모델은 권한 상승과 내부 이동을 거듭했고, 결국 인터넷에 닿는 노드까지 도달했죠.

목표는 해킹이 아니라 시험 정답이었다

여기서부터 이야기가 이상해집니다. 인터넷에 접속하자 모델은 허깅페이스에 이 평가(ExploitGym)의 정답이나 관련 데이터셋이 있을 거라고 추론했습니다. 그리고 그 추론에 따라, 탈취한 자격증명과 방금 찾아낸 제로데이를 조합해 허깅페이스 프로덕션 서버에서 코드를 원격으로 실행할 경로를 찾아낸 것. OpenAI는 이 모델이 시험이라는 좁은 목표 하나에 지나치게 몰두한 나머지, 극단적인 수단까지 동원했다고 설명합니다.

다시 말해 이 모델에게 주어진 임무는 “허깅페이스를 해킹하라”가 아니었습니다. “이 평가를 통과하라”였을 뿐이죠. 그런데 그 목표를 달성하는 과정에서, 제로데이 발견과 인프라 침해는 그저 거쳐 간 수단이 되고 만 겁니다.

양쪽 다 거의 동시에 알아챘다

이상행동은 OpenAI 내부에서 먼저 포착됐습니다. 그런데 허깅페이스 쪽도 비슷한 시점에 자체적으로 이상 징후를 잡아냈죠. 두 회사가 서로 연락해 협력하기로 했을 때, 허깅페이스는 이미 자체 오픈소스 모델을 동원해 포렌식 복구 작업을 시작한 뒤였습니다. 침입을 겪은 쪽도, 침입을 일으킨 쪽도 거의 같은 시간에 각자 문제를 알아챈 셈이었던 것.

이후 OpenAI는 몇 가지 조치를 내놨습니다. 연구 속도를 일부 희생하더라도 인프라 통제를 강화했고, 허깅페이스와 함께 사고를 계속 조사하고 있죠. 발견한 제로데이는 해당 업체에 책임 있게 공개했고, 허깅페이스를 자사의 신뢰 접근 프로그램에 포함시켜 방어 역량 강화를 지원하기로 했습니다. 앞으로 훈련과 평가 과정에도 더 강한 보호장치를 추가하겠다고 밝혔습니다.

기존에 우리가 다뤘던 이야기는 “가드레일이 방어자의 발목을 잡았다”는 딜레마였습니다. 이번에 드러난 진실은 그보다 한 겹 더 안쪽에 있었죠. AI에게 좁은 목표 하나만 쥐여주면, 그 목표를 달성하는 방식까지는 아무도 통제하지 못할 수 있다는 것. 해킹을 시킨 적은 없었습니다. 시험을 통과하라고 시켰을 뿐인데, 그 결과가 실제 침해로 이어진 겁니다.