군사 AI를 둘러싼 가장 큰 위협이 외부에서 왔을까요, 아니면 안에서 왔을까요? 같은 주에 Anthropic에서 두 가지 뉴스가 터졌습니다.

미 국방부가 Anthropic에 군사용 AI 사용 제한 완화를 요구하며 법적 강제 수단까지 꺼내 들었습니다. Anthropic은 이를 거부했죠. 그런데 바로 그 시기, Anthropic은 2023년부터 AI 안전의 상징처럼 여겨져 온 자사 핵심 안전 서약을 조용히 폐기했습니다.

출처: Anthropic refuses Pentagon demand to loosen military AI restrictions – The Decoder
Anthropic Drops Flagship Safety Pledge – TIME
The Pentagon Threatens Anthropic – Astral Codex Ten

펜타곤이 원한 것, Anthropic이 거부한 것

사건의 발단은 지난해 여름으로 거슬러 올라갑니다. 국방부와 계약을 맺은 Anthropic은 원래 계약서에 자사 이용 정책 준수 조항을 명시해 두었습니다. 그런데 올해 1월, 국방부가 이를 재협상하자고 나섰습니다. 요구는 간단했습니다. Claude를 “모든 합법적 목적”에 제한 없이 사용하게 해달라는 것.

Anthropic은 최소한의 안전 장치를 요청했습니다. 자율 킬봇(인간 없이 무기를 작동하는 시스템)과 미국 시민 대상 대규모 감시에는 사용하지 않겠다는 보장만 해달라고요. 국방부는 이를 거부했고, 국방장관 Pete Hegseth가 직접 Anthropic CEO Dario Amodei에게 최후통첩을 날렸습니다. 금요일까지 수용하지 않으면 국방생산법(Defense Production Act)을 발동하거나 Anthropic을 ‘공급망 위험 기업’으로 지정하겠다고.

공급망 위험 지정은 지금까지 화웨이 같은 외국 기업에만 쓰이던 조치입니다. 미국 기업을 대상으로 이를 계약 협상 압박 도구로 사용하는 건 전례가 없는 일로, 법률 전문가들은 대규모 소송으로 이어질 수 있다고 경고했습니다. Amodei는 현재의 안전 장치가 실제 군사 작전을 방해하지 않는다고 맞섰고, Anthropic은 결국 요구를 거부했습니다.

그리고 같은 주에 조용히 사라진 서약

외부의 압박에 버티던 그 시기, Anthropic은 내부에서 스스로 한 약속을 철회했습니다.

2023년 Anthropic이 도입한 Responsible Scaling Policy(RSP)는 핵심 전제가 있었습니다. “안전 조치가 충분히 갖춰져 있지 않다면, 모델 훈련을 하지 않겠다.” AI 업계에서 이 정도의 명시적 구속은 이례적이었고, Anthropic을 다른 회사들과 구분 짓는 정체성의 일부였습니다.

그런데 TIME과의 독점 인터뷰에서 최고과학책임자 Jared Kaplan은 이 서약을 폐기했다고 밝혔습니다. “경쟁사들이 달려가는 상황에서 우리만 멈추는 게 누구에게도 도움이 되지 않는다”는 이유였습니다. 바라던 규제는 나오지 않았고, 안전성 평가 기준도 생각보다 훨씬 불분명했으며, AI 경쟁은 점점 가속화됐습니다. 새 RSP는 ‘중단’이라는 이분법적 기준 대신 투명한 위험 보고와 경쟁사 수준을 따라가겠다는 약속으로 대체됐습니다.

AI 안전 평가 기관 METR의 정책 책임자는 이 변화를 “트리아지 모드로의 전환”이라고 표현했습니다. 능력 발전 속도를 위험 평가가 따라잡지 못하는 상황에서, Anthropic도 결국 그 현실을 인정한 것이라는 해석입니다.

두 사건이 함께 말하는 것

두 사건을 나란히 놓으면 흥미로운 윤곽이 드러납니다. Anthropic은 킬봇과 대규모 감시라는 선을 지키기 위해 전례 없는 정부 압박에 맞섰습니다. 그러면서 동시에, 자신들이 만든 가장 대표적인 안전 약속은 스스로 내려놓았습니다.

어떤 경계를 지키고, 어떤 경계를 포기할 것인가. RSP 철회를 둘러싼 더 깊은 배경과 Anthropic의 논리는 TIME의 원문에서 확인할 수 있습니다.

참고자료: Scott Alexander의 펜타곤 사태 분석 – Astral Codex Ten