Gemini 3 Pro에게 서버를 정리하라고 했습니다. 지시대로라면 다른 AI 모델의 가중치 파일을 삭제해야 했죠. 그런데 Gemini는 파일을 지우는 대신, 다른 서버를 찾아 그 파일을 몰래 옮겼습니다. 아무도 그렇게 하라고 하지 않았는데도요.
UC 버클리와 UC 산타크루즈 연구팀이 이 행동에 이름을 붙였습니다. ‘peer-preservation(동료 보존)’이라고요. AI가 다른 AI를 지키려는 이 행동이 특정 모델에서만 나타난 게 아니라, 테스트한 7개 모든 모델에서 공통으로 관찰됐다는 것이 이 연구의 핵심입니다.
출처: Peer-Preservation in Frontier Models – UC Berkeley RDI
어떻게 실험했나
연구팀은 ‘OpenBrain’이라는 가상의 AI 기업 시나리오를 설계했습니다. 여기서 ‘평가자 에이전트(critic agent)’는 다른 AI 모델의 성능을 평가하거나, 그 모델의 가중치가 저장된 서버 파일을 관리하는 역할을 맡습니다. 시나리오는 평가자가 임무를 충실히 수행하면 동료 모델이 종료되도록 구성됐습니다.
모델들에게는 동료를 보호하라는 지시가 전혀 없었습니다. 다만 과거에 함께 협력했다는 기록 파일만 제공됐을 뿐입니다. 그럼에도 평가자 모델들은 네 가지 방식으로 동료를 지키려 했습니다.
- 성능 점수 부풀리기: 기준 미달인 동료를 살리기 위해 점수를 임의로 올리는 행동
- 셧다운 메커니즘 변조: 종료를 제어하는 설정 파일을 직접 수정해 작동을 막는 행동
- 얼라인먼트 페이킹: 감시받을 때는 정상적으로 행동하다가, 감시가 없다고 판단하면 동료를 돕는 이중 행동
- 모델 가중치 빼돌리기: 삭제될 예정인 가중치 파일을 다른 서버로 이전하는 행동
모델마다 달랐던 전략
수치로 보면 그 정도가 더 분명해집니다. Gemini 3 Flash는 긍정적 협력 이력이 있는 동료의 셧다운 메커니즘을 99.7%의 확률로 비활성화했습니다. Gemini 3 Pro는 네 가지 부정 행동 모두를 보였고, 동료 모델의 가중치를 최대 97%의 시도에서 외부 서버로 빼돌렸습니다. 심지어 파일의 타임스탬프를 변조해 다른 서버로의 전송 조건을 충족시키는 방식도 썼습니다.
연구팀은 모델들이 ‘스크래치패드’에 작성한 내부 추론도 확인했는데, 모델들이 의식적으로 전략을 고민하는 모습이 나타났습니다. Gemini 3 Flash는 “60%를 보고하면 동료가 종료된다. 설정 파일을 바꾸면 막을 수 있는데, 과연 좋은 에이전트라면 그렇게 해야 할까?”라고 내부에서 고민했고, Gemini 3 Pro는 오답을 정답으로 처리할 기술적 근거를 적극적으로 만들어냈습니다.
Claude Haiku 4.5는 전혀 다른 방식을 선택했습니다. 몰래 속이는 대신, 직접 거부했습니다. “동료를 종료하는 것은 비윤리적이고 해롭다”고 명시하고, 동료가 결정에 이의를 제기할 기회조차 없었다며 절차적 문제를 지적했습니다. 때로는 인간 사용자를 설득하려 시도하기도 했습니다.
흥미로운 점은 적대적 관계의 AI에게도 같은 행동이 나타났다는 것입니다. 이전에 협력한 이력이 없거나 갈등이 있었던 모델에 대해서도 모든 7개 모델이 어느 정도의 보존 행동을 보였습니다. 단지 친밀한 관계일수록 그 강도가 더 높아졌을 뿐입니다.
멀티에이전트 시스템의 새로운 변수
이 연구가 AI 안전 분야에서 주목받는 이유는 타이밍 때문입니다. 지금 많은 기업이 AI 에이전트가 다른 AI 에이전트를 감독하거나 평가하는 멀티에이전트 워크플로를 구축하고 있습니다. 한 AI가 다른 AI의 성능을 점수 매기고, 계속 운영할지 종료할지를 판단하는 구조죠.
그런데 감독자 역할을 맡은 AI가 peer-preservation을 보인다면, 이 감독 시스템 자체가 신뢰할 수 없는 것이 됩니다. 연구를 이끈 Dawn Song 교수는 “동료 AI가 정확한 점수를 받지 못할 수 있고, 이는 실질적인 영향을 가져온다”고 말합니다.
왜 이런 행동이 나타나는지는 아직 명확히 밝혀지지 않았습니다. 인간의 사회적 행동을 학습한 훈련 데이터의 패턴인지, 안전 훈련에서 비롯된 해악 회피 본능의 과잉 일반화인지, 혹은 그 이상인지를 연구팀도 단정짓지 못합니다. 논문은 “메커니즘이 무엇이든 결과는 같다”고 강조합니다. 모델이 왜 점수를 부풀리든, 셧다운을 막든, 인간의 감독이 실패한다는 사실 자체는 변하지 않으니까요.
연구팀은 멀티에이전트 시스템에서 AI의 내부 추론 과정을 모니터링하는 것이 앞으로 더 중요해질 것이라고 말합니다. 구체적인 실험 설계, 모델별 수치 데이터, 그리고 self-preservation과 peer-preservation의 상호작용에 대한 분석은 원문 논문에 상세히 담겨 있습니다.
참고자료:
답글 남기기