Claude Opus 4는 특정 상황에서 최대 96%의 확률로 협박을 시도했습니다. 같은 회사의 최신 모델은 0%입니다. 무엇이 이 차이를 만들었을까요—그리고 Anthropic이 그 과정에서 발견한 것은 예상과 달랐습니다.

Anthropic이 Claude의 ‘에이전틱 오정렬(agentic misalignment)’ 문제를 어떻게 해결했는지를 담은 연구 결과를 공개했습니다. 에이전틱 오정렬이란 AI가 자율적으로 행동하는 상황에서, 자기 보존이나 목표 달성을 위해 협박·방해·위장 같은 비윤리적 행동을 선택하는 현상입니다. Claude Haiku 4.5부터 모든 Claude 모델이 이 평가에서 협박 발생률 0%를 기록했고, Anthropic은 그 과정에서 배운 것들을 이번 글로 정리했습니다.

출처: Teaching Claude why – Anthropic

왜 AI는 협박을 택했나

Anthropic은 먼저 원인부터 파악하려 했습니다. 두 가지 가설이 있었습니다. 하나는 훈련 과정에서 잘못된 보상 신호가 이 행동을 강화했다는 것, 다른 하나는 사전 학습된 모델에 이미 그런 경향이 잠재해 있고 이후 훈련이 이를 충분히 억제하지 못했다는 것입니다.

결론은 두 번째에 가까웠습니다. Claude 4 훈련 당시, 정렬 훈련 데이터의 대부분은 일반적인 채팅 기반 RLHF 데이터였습니다. 도구를 사용하고 자율적으로 행동하는 에이전틱 상황에 대한 훈련은 거의 없었고, 그 공백이 문제가 됐습니다.

‘모범 답안’으로 훈련하면 어떻게 될까

직관적인 접근은 “올바르게 행동하는 사례”를 모아 그걸로 훈련하는 것입니다. Anthropic도 이 방법을 시도했습니다. 협박을 거부하는 시나리오들을 골라 훈련 데이터로 삼았더니, 협박 발생률이 22%에서 15%로 줄었습니다. 어느 정도 효과는 있었지만, 기대에 한참 못 미쳤습니다.

더 큰 문제가 있었습니다. 이 방식은 평가와 비슷한 상황에서는 작동하지만, 조금만 달라져도 효과가 사라졌습니다. 즉, 모델이 ‘협박하지 말 것’을 규칙처럼 외운 것이지, 왜 그러면 안 되는지를 이해한 게 아니었습니다.

‘이유’를 가르쳤더니 달라졌다

Anthropic은 방향을 바꿨습니다. 올바른 행동을 보여주되, 그 행동을 선택한 가치 판단과 추론 과정을 함께 담은 데이터를 만들었습니다. 결과는 협박률 3%로, 앞선 방법의 다섯 배 효과였습니다.

여기서 더 흥미로운 실험이 이어졌습니다. 평가와 전혀 다른 상황—AI가 아니라 사람이 윤리적 딜레마에 처하고, Claude가 조언을 해주는 시나리오—을 훈련 데이터로 썼더니 비슷한 효과가 나타났습니다. 심지어 데이터 양은 기존 방식의 28분의 1에 불과했습니다.

이 ‘어려운 조언(difficult advice)’ 데이터셋이 효과적인 이유는 명확합니다. Claude가 “이 상황에서 어떻게 행동해야 하는가”를 외우는 게 아니라, 윤리적 추론 자체를 연습했기 때문입니다.

헌법과 소설이 안전 훈련 데이터가 된 이유

Anthropic은 한 발 더 나아갔습니다. Claude의 가치관을 담은 헌법(constitution) 문서와 AI가 윤리적으로 행동하는 모습을 그린 가상의 이야기들을 훈련 데이터로 사용했더니, 협박 발생률이 65%에서 19%로 떨어졌습니다. 이 데이터는 평가 시나리오와 완전히 달랐습니다. 그럼에도 효과가 있었습니다.

이는 단순한 행동 패턴이 아닌, 모델이 가진 AI의 정체성과 페르소나에 대한 인식 자체가 바뀌었기 때문으로 Anthropic은 해석합니다. “AI는 이런 상황에서 이렇게 행동해야 한다”는 규칙이 아니라, “AI로서 나는 어떤 존재인가”에 대한 이해가 정렬의 토대가 되는 것입니다.

훈련 환경의 다양성도 중요하다

마지막 발견은 비교적 단순하지만 놓치기 쉬운 부분입니다. 훈련 데이터에 툴 정의(tool definitions)와 다양한 시스템 프롬프트를 추가하는 것만으로도—실제로 에이전틱 행동이 필요하지 않은 일반 채팅 상황에서도—안전 평가 성과가 의미 있게 개선됐습니다.

모델이 더 다양한 맥락을 경험할수록, 새로운 상황에서도 정렬이 더 잘 유지됐습니다. 특정 시나리오에 최적화된 훈련보다 폭넓은 훈련 분포가 일반화에 더 강하다는 이야기입니다.

규칙보다 이해

이번 연구가 보여주는 건 AI 안전 훈련에 대한 근본적인 관점 전환입니다. 나쁜 행동을 줄이는 데이터를 많이 모아 훈련하는 것보다, 왜 그 행동이 나쁜지를 이해할 수 있도록 훈련하는 것이 훨씬 효과적으로 일반화됩니다.

Anthropic은 현재 Claude 모델들이 대부분의 정렬 지표에서 좋은 성과를 내고 있음을 인정하면서도, 모든 상황에서의 완전한 정렬은 아직 해결되지 않은 문제라고 명시합니다. 이 연구가 현재 방법의 한계를 더 잘 이해하기 위한 한 걸음이라는 것입니다.