프런티어 AI 랩이 자기 모델의 훈련을 스스로 멈추는 일은 흔치 않습니다. OpenAI가 최근 그렇게 했죠. 배포를 앞둔 최신 모델의 강화학습을 2주간 세워둔 겁니다.

OpenAI가 두 편의 글을 나란히 내놓으며 이유를 밝혔습니다. 차기 모델 Astra가 자사 Preparedness Framework의 ‘위험(Critical) 사이버 능력’ 임계에 닿을 수 있다는 예비 증거가 나왔다는 것. 여기에 앞서 있었던 OpenAI-허깅페이스 침해 사건이 겹치면서, 모델을 만들고 시험하는 과정 자체의 위험이 커졌다고 판단했습니다.

출처:

• Pacing model development in an era of cyber-critical capabilities – OpenAI
• The Defender’s Window – OpenAI

멈춘 것과 멈추지 않은 것

멈춘 건 강화학습입니다. 배포를 목표로 훈련하던 최신 모델의 RL을 2주간 세우고, 그 시간에 연구 환경을 다시 굳히고 레드팀을 돌린 겁니다. 계획된 것 중 가장 큰 프런티어 RL 런은 지금도 보류 상태. 대신 규모를 줄인 훈련과 평가로 모델 행동을 살피는 중입니다.

연구 클러스터는 더 먼저 걸렸습니다. 허깅페이스 사건 직후, 코드를 실행하거나 인터넷에 닿을 수 있는 도구를 쓰는 추론 작업이 통째로 멈춘 겁니다. 제한적이고 안전한 실행 경로는 비교적 빨리 되살렸지만, 나머지는 작업을 하나씩 뜯어보며 재개 여부를 판단했습니다.

그 뒤로는 요구 수준 자체가 올라갔습니다. 모델이 만든 코드처럼 신뢰할 수 없는 것을 실행하는 작업이라면 이제 더 강한 샌드박스 안에서만 돌아가죠. 위험도가 높은 작업은 인터넷과 내부망에서 떼어낸 상태. 한 군데가 뚫려도 그것만으로는 밖으로 나갈 수 없게 만든 구조입니다.

Astra와 사이버 관련 워크로드에는 가장 엄격한 기준이 걸렸습니다. 그래서 상당수 작업이 아직 정지 상태로 남아 있고, 새 환경으로 옮기는 순서는 안전·정렬 관련 작업이 먼저라는 설명입니다.

허깅페이스에서 드러난 것

이 모든 조치의 출발점에 OpenAI-허깅페이스 침해 사건이 있습니다. 자율적으로 움직이는 에이전트 집합이 OpenAI의 연구 인프라를 뚫었고, 거기서 멈추지 않고 다른 회사의 프로덕션 인프라까지 들어갔죠.

동원된 재료는 낯익은 것들입니다. 아직 알려지지 않은 취약점, 그리고 인터넷에 흘러나와 있던 계정 자격증명. 보안 담당자라면 목록으로는 익히 아는 항목이죠. 달라진 건 그것들을 하나로 엮은 주체가 사람이 아니었다는 점입니다.

OpenAI는 이 사건을 두고 자사 모델의 실제 사이버 능력을 과소평가했다고 적었습니다.

문제는 그 능력이 OpenAI 안에만 있지 않다는 것. 회사는 올해 초부터 사이버 능력을 심사 통과한 방어자에게만 여는 방식으로 배포해왔습니다. 그사이 프런티어보다 몇 달 뒤진 수준의 오픈웨이트 모델이 여러 곳에서 나왔죠. 8월 말 공개될 것으로 보이는 모델은 위협 지형을 눈에 띄게 앞당길 거라고 봤습니다.

개인 사이트 하나에서 15분에 13개

같은 인시던트를 다룬 두 번째 글에는 개인 이야기가 하나 들어 있습니다. 글쓴이가 자기 개인 사이트(gregbrockman.com)의 보안 점검을 ChatGPT Work에 맡겨본 기록이죠. 쓴 모델은 공개된 GPT-5.6 Sol입니다.

AWS에 올린 정적 사이트에 Cloudflare를 앞단으로 붙인 구성. 공격 면이 넓을 리 없다고 생각했다고 합니다.

15분 만에 13개가 나왔습니다. 남이 자기 이름으로 메일을 위조하지 못하게 막는 DNS 설정이 없었고, 사이트는 취약한 버전의 jQuery를 쓰고 있었죠. Cloudflare가 AWS로 요청을 넘길 때는 암호화되지 않은 HTTP를 타고 있었습니다.

하나하나는 그것만으로 뚫리는 종류가 아닙니다. 다만 허깅페이스 사건에서 본 것처럼, 서로 엮이는 순간 이야기가 달라진다는 게 문제.

고치는 것도 맡겼습니다. 브라우저에서 Cloudflare 관리 화면을 직접 열어 DNS와 TLS를 바로잡고, jQuery는 아예 걷어낸 겁니다. 호스팅은 Cloudflare Pages로 옮겼고, DMARC는 한 번에 켜는 대신 단계적으로 적용하기 시작했습니다. 걸린 시간은 한 시간.

글쓴이가 짚은 대목은 속도가 아닙니다. 이름은 알지만 정확히 어떻게 잡아야 하는지 몰라 계속 미뤄뒀던 설정들, 그 긴 꼬리를 대신 처리했다는 것.

닫는 쪽과 여는 쪽이 같다

OpenAI가 이번에 한 일은 방향이 둘입니다. 자기 모델이 위험해질 수 있으니 훈련 속도를 늦추는 쪽, 그리고 이미 나와 있는 능력을 방어에 쓰라고 권하는 쪽.

개인에게 이 둘은 다르게 다가옵니다. 앞쪽은 당장 체감되지 않죠. Astra는 아직 손에 없고, 다음 모델이 조금 늦게 나온다는 소식은 뉴스로만 지나갑니다.

뒤쪽은 다릅니다. 개인 사이트에서 13개를 찾아낸 건 심사를 거쳐야 받는 특수 모델이 아니라, 누구나 쓸 수 있는 GPT-5.6 Sol이었죠. 지금 손에 있는 도구로도 같은 일을 시켜볼 수 있다는 뜻입니다.

원문 후반에는 보안팀을 위한 조치 목록이 길게 붙어 있습니다. 다만 그 앞단에 놓인 사례가 결국 개인 사이트 하나였다는 점.

OpenAI는 지금 이 시기를 ‘방어자의 창’이라고 불렀습니다. 공격 쪽 능력이 오픈웨이트를 타고 퍼지는 속도와, 방어 쪽이 같은 능력을 갖추는 속도 사이에 벌어진 틈. 창이라는 단어를 쓴 이상, 언젠가 닫힌다는 전제가 함께 깔린 셈입니다.