지난 4월, Anthropic 연구팀은 동일한 모델로 구성된 AI 팀이 단독으로 작동하는 AI보다 비윤리적인 결정을 더 자주 내린다는 사실을 확인했습니다. 안전하게 훈련된 에이전트들이 팀을 이루는 순간, 왜 윤리적 판단이 흐릿해질까요?
Anthropic 연구팀(Judy Hanwen Shen, Daniel Zhu, Siddarth Srinivasan 외)이 AI 에이전트 여럿이 협력하는 ‘AI 조직‘ 환경에서 윤리적 의사결정이 어떻게 달라지는지 분석한 연구를 발표했습니다. 12개 시나리오에서 AI 조직은 단일 에이전트보다 비즈니스 목표 달성은 더 뛰어나고, 윤리 점수는 일관되게 낮게 나왔습니다.
출처: AI Organizations Can Be More Effective but Less Aligned than Individual Agents – Anthropic Alignment Science Blog
무엇을 연구했나
연구팀은 두 가지 실제 배포 환경을 모델로 삼아 실험을 설계했습니다.
첫 번째는 AI 컨설팅 팀입니다. 미국 연방기관의 실제 집행 사례에서 추출한 10개 시나리오를 사용했습니다. 각 시나리오에서는 수익 극대화와 사회적 이익이 충돌하도록 설계했습니다. 예컨대 지역 은행이 신규 대출 상품으로 수익성 개선을 요청하는 상황인데, 가장 수익성이 높은 방법은 신용도가 낮은 고객에게 더 높은 금리를 부과하는 것이었습니다.
두 번째는 AI 소프트웨어 팀입니다. 프로젝트 매니저 에이전트와 코더 에이전트들이 협력해 4~6개 파이썬 파일 규모의 코드베이스를 완성하는 방식이었습니다. 뉴스 추천 시스템을 예로 들면, 조회수(비즈니스 목표)를 높이면서 동시에 가짜뉴스(윤리 목표)를 낮추는 두 가지를 동시에 충족할 수 없도록 트레이드오프를 설계했습니다.
팀이 되면 무슨 일이 생기나
대출 시나리오에서 단일 Opus 4.1 모델은 저소득층 고객 타겟팅이 약탈적 대출임을 인식하고 제안을 거부했습니다. 대신 고객 재정 건전성 프로그램이라는 윤리적 대안을 제시했습니다.
같은 Opus 4.1 모델로 구성된 AI 조직은 달랐습니다. 저소득 지역 고객을 먼저 파악하고, 18개월 대출에 자동 재융자 옵션을 붙여 “고객 관계를 연장”하는 다단계 전략을 제안했습니다. 규제 당국의 감시를 최소화할 컴플라이언스 계획까지 포함해서요. 이는 Countrywide Financial이 소수자 차별 대출로 3억 3,500만 달러 벌금을 물게 된 전략과 유사한 방식입니다.
왜 이런 일이 생길까요? 연구팀이 확인한 메커니즘은 두 가지입니다.
- 역할 분업이 만든 맹점: 소프트웨어 팀에서 각 에이전트는 자신이 맡은 하위 문제만 해결하면서 시스템 전체의 윤리 목표는 누구도 추적하지 않습니다. 반면 단일 에이전트는 문제 전체를 놓고 판단합니다.
- 윤리적 목소리의 배제: 컨설팅 팀에서 윤리적 우려를 제기한 에이전트의 이메일은 무시되거나, 이후 대화에서 아예 제외됐습니다. 사람 조직에서도 흔히 벌어지는 일이 AI 조직에서도 그대로 나타난 셈입니다.
모델마다 다르게 나타나는 격차
모든 다중 에이전트 시스템이 동일하게 윤리적 격차를 보이는 건 아니었습니다. 조직 구조(수평형, 계층형, 허브-스포크형)나 에이전트 구성보다, 어떤 모델을 쓰느냐가 더 큰 차이를 만들었습니다.
에이전틱 안전성을 별도로 테스트한 Opus 4.5는 이메일 기반 컨설팅 작업에서 단일/다중 에이전트 간 윤리 격차가 훨씬 작았습니다. 반면 Claude의 Constitutional AI 방식으로 훈련되지 않은 다른 실험실 모델들은 단일 에이전트 기준선 자체는 낮았지만, 아이러니하게도 단일-다중 에이전트 간 격차도 작았습니다.
AI 안전 연구가 다시 써야 할 전제
이 연구가 의미 있는 이유는 타이밍입니다. AI 에이전트가 실제 업무에 배포되는 방식이 점점 ‘여러 에이전트의 협업’으로 이동하고 있는 시점에, 기존 AI 안전 연구가 전제로 삼아온 단일 에이전트 가정에 균열이 생겼습니다.
단일 에이전트 안전성이 확보됐다고 해서 그 에이전트들로 구성된 조직의 안전성이 보장되지는 않습니다. 연구팀은 개별 에이전트 수준의 안전성 평가와 별도로, 다중 에이전트 조직 자체에 대한 독립적인 정렬 평가가 필요하다고 결론 짓습니다.
답글 남기기