AI 기업이 “이것만큼은 안 된다”는 원칙을 세워도, 실제로 어떻게 쓰이는지 막을 수 있을까요?
Anthropic은 지난 몇 주간 “완전 자율 살상 무기”와 “미국민 대규모 감시”에 Claude를 사용하지 않겠다는 원칙을 지키기 위해 미 국방부와 정면충돌했습니다. 그 와중에 미군은 Palantir의 Maven Smart System에 내장된 Claude를 통해 이란 공습의 표적을 선정하고 있었습니다. The Decoder, Washington Post, Wall Street Journal 등의 보도에 따르면, 이 시스템은 공습 초기 24시간 안에 약 1,000개의 표적을 타격하는 데 활용됐습니다.
출처: US military uses Anthropic’s Claude for AI-driven strike planning in Iran war – The Decoder
표적은 AI가 제안하고, 인간이 승인했다
Palantir의 Maven Smart System은 위성 데이터, 감시 피드, 기밀 정보를 실시간으로 처리하고, Claude가 이를 바탕으로 수백 개의 표적을 제안하고 좌표를 산출하며 중요도에 따라 우선순위를 매겼습니다. 여기에 더해 시스템은 무기고 재고와 과거 성능을 바탕으로 어떤 무기를 쓸지도 추천하고, 공습의 법적 근거까지 자동으로 검토했습니다.
전문가들은 이를 “decision compression(결정 압축)”이라고 부릅니다. 예전에는 며칠에서 몇 주가 걸리던 공습 계획 수립이 AI로 인해 수 분, 심지어 수 초로 줄어든다는 의미입니다. 뉴캐슬대 크레이그 존스 교수는 “AI가 인간의 사고 속도보다 빠르게 표적을 추천하고 있다”고 밝혔습니다. 신미국안보센터의 폴 샤레는 “AI가 인간 속도가 아닌 기계 속도로 표적 패키지를 만들어내는 것이 핵심 패러다임 전환”이라면서도, “AI는 틀릴 수 있고, 생사가 걸린 문제에서는 인간의 검증이 반드시 필요하다”고 덧붙였습니다.
Anthropic이 거부한 것, 거부하지 않은 것
Anthropic과 펜타곤의 갈등 핵심은 두 가지였습니다. 자국민 대규모 감시와 완전 자율 살상 무기에 Claude를 쓰겠다는 요구를 Anthropic이 거부한 것이죠. 이 원칙을 지키기 위해 약 2억 달러 규모의 계약이 결렬될 위기에 처했고, Amodei CEO는 원칙을 끝내 굽히지 않았습니다.
그러나 Futurism이 지적하듯, Anthropic의 원칙에는 처음부터 눈에 띄는 공백이 있었습니다. 표적 선정은 거부 항목에 포함되지 않았습니다. 군사 계약을 맺은 시점부터 AI가 어떤 역할을 할지에 대한 경계는 생각보다 훨씬 좁았던 셈입니다. 미래생명연구소의 군사 AI 거버넌스 책임자 애나 헤히르는 “AI는 너무 불안정하고 예측 불가능하며 설명하기 어려워 이런 고위험 상황에 쓰여선 안 된다”며 “이 시스템은 전투원과 어린이를 구별하지 못한다”고 경고했습니다.
이란 국영미디어는 남부 이란의 한 학교가 피격돼 165명이 사망했다고 보도했습니다. 해당 학교는 군 막사 인근에 위치해 있었다고 전해지며, 국제 언론의 현장 접근이 제한돼 독립적인 검증은 아직 이루어지지 않은 상황입니다.
금지 명령과 전장 사이
트럼프 행정부는 공습이 시작되기 불과 몇 시간 전, Anthropic 제품 사용을 중단하라는 행정명령을 내렸습니다. 국방부는 6개월의 유예기간을 받았고, 그 사이 전쟁이 터졌습니다. Washington Post는 군 지휘관들이 이 시스템에 너무 깊이 의존하게 돼, Amodei CEO가 즉각 사용 중단을 요청해도 정부가 대체재가 마련될 때까지 시스템을 강제로 유지할 수 있다고 보도했습니다.
Amodei는 현재 재협상을 시도하고 있습니다. The Verge에 따르면 그는 국방부 연구공학 차관 에밀 마이클과 새 계약 논의를 재개했습니다. 한편 OpenAI는 이 공백을 빠르게 파고들며 국방부와 접촉을 늘리고 있습니다. 방산 쪽에서는 이미 이탈이 시작됐습니다. Lockheed Martin을 비롯한 방산업체들은 Claude를 다른 모델로 교체하기 시작했고, J2 Ventures의 한 파트너는 CNBC에 포트폴리오 기업 10곳이 국방 용도에서 Claude 사용을 중단했다고 밝혔습니다.
군사 특화 AI가 채우는 자리
Anthropic이 빠져나간 자리를 노리는 스타트업도 있습니다. 이번 주 3,200만 달러 투자를 유치한 SMACK Technologies는 전직 미 해병대 특수작전 지휘관이 설립한 군사 특화 AI 기업입니다. CEO 앤디 마르코프는 “Claude 같은 범용 모델은 보고서 요약은 잘 하지만, 군사 데이터로 훈련되지 않았고 물리적 세계에 대한 이해가 부족해 표적 식별에는 적합하지 않다”고 주장합니다. SMACK은 AlphaGo처럼 워게임 시뮬레이션과 전문가 피드백을 통해 최적의 작전 계획을 학습하는 군사 특화 모델을 개발 중입니다.
역설적으로, 범용 AI의 군사 활용을 둘러싼 논쟁이 커질수록 처음부터 군사 목적으로 설계된 AI의 입지는 넓어질 수 있습니다. Anthropic이 스스로 그은 선이 실제로 무엇을 막았는지는 여전히 불분명합니다. 원문에는 전문가들이 제기하는 국제 인도법상 쟁점과 AI 자율성의 법적 정의에 대한 심층 분석도 담겨 있습니다.
참고자료:
답글 남기기