AI 에이전트 하나로 부족하면 여러 개를 협력시키면 되지 않을까요? 직관적으로는 맞는 것처럼 보이지만, 실제로는 그렇지 않습니다. 작업 유형에 따라 성능이 81% 향상되기도 하지만, 오히려 70%나 떨어지기도 하거든요.

Google Research, Google DeepMind, MIT가 공동으로 진행한 연구는 AI 에이전트 시스템의 확장 원리를 체계적으로 분석했습니다. 연구팀은 5가지 에이전트 아키텍처와 3개 모델 패밀리(GPT, Gemini, Claude)로 180개의 실험을 진행했고, 멀티 에이전트 시스템이 언제 효과적이고 언제 역효과를 내는지 명확한 기준을 제시했죠.

출처: Towards a Science of Scaling Agent Systems – arXiv

병렬 작업엔 좋지만, 순차 작업엔 최악

재무 분석처럼 독립적인 조각으로 나눌 수 있는 작업에서는 멀티 에이전트가 빛을 발했습니다. 중앙 집중식 조정 방식에서 80.9% 성능 향상을 기록했죠. 각 에이전트가 매출 추이, 비용 구조, 시장 데이터를 병렬로 분석한 뒤 결과를 합치는 방식이었습니다.

반면 마인크래프트 제작 계획 작업에서는 모든 멀티 에이전트 설정이 39~70%의 성능 하락을 보였어요. 문제는 순차적 의존성입니다. 각 제작 행동이 인벤토리 상태를 바꾸고, 이후 행동이 그 상태에 의존하기 때문이죠. 이런 작업은 에이전트들로 나누기 어렵습니다.

단일 에이전트는 진행 상황을 완벽하게 파악하지만, 멀티 에이전트는 에이전트 간 정보 전달 과정에서 중요한 맥락을 잃거나 압축하면서 문제가 생깁니다.

멀티 에이전트가 실패하는 3가지 이유

첫째, 도구가 많은 작업일수록 멀티 에이전트 오버헤드가 심합니다. 웹 검색, 파일 검색, 코딩 등이 필요한 작업에서 토큰 예산을 나눠 쓰면 개별 에이전트가 복잡한 도구를 제대로 활용할 여력이 없어지죠.

둘째, 능력 포화 지점이 있습니다. 단일 에이전트가 약 45% 성공률에 도달하면, 에이전트를 추가해도 수익이 감소하거나 마이너스가 됩니다. 조정 비용이 이득을 모두 잡아먹기 때문이에요.

셋째, 오류 누적 문제입니다. 정보 공유 없이 독립적으로 작동하는 에이전트들은 오류를 단일 에이전트보다 17배나 빠르게 증폭시킵니다. 실수가 검증 없이 그대로 전달되는 거죠. 중앙 조정자를 두면 4배로 줄지만, 완전히 사라지진 않습니다.

토큰 효율성에서도 단일 에이전트가 압도

연구팀이 토큰 예산당 완료한 작업 수를 추적한 결과는 더 명확합니다. 단일 에이전트는 1,000토큰당 평균 67개 작업을 성공적으로 완료했습니다. 중앙 집중식 멀티 에이전트는 21개, 하이브리드 시스템은 14개에 불과했어요. 3분의 1 수준이죠.

범인은 조정 오버헤드입니다. 하이브리드 시스템은 단일 에이전트보다 약 6배 많은 추론 과정이 필요했습니다. 연구팀은 예산이 제한적일 때는 에이전트를 최대 3~4개로 제한할 것을 권장합니다.

언제 멀티 에이전트를 써야 할까?

연구팀의 결론은 명확합니다. 일단 단일 에이전트로 시작하고, 두 가지 조건을 모두 만족할 때만 멀티 에이전트를 고려하라는 거죠.

조건 1: 작업이 병렬 처리 가능한가?
재무 분석처럼 각 부분을 독립적으로 처리할 수 있어야 합니다. 마인크래프트 제작처럼 앞 단계 결과가 다음 단계에 영향을 주는 순차적 작업이라면 멀티 에이전트는 독이 됩니다.

조건 2: 단일 에이전트가 충분히 못하는가?
단일 에이전트 성공률이 45%를 넘어가면 멀티 에이전트로 바꿔도 이득이 없습니다. 조정 비용이 성능 향상을 상쇄하거든요. 역설적이지만, 단일 에이전트가 너무 잘하면 팀워크는 오히려 방해가 됩니다.

도구가 많이 필요한 작업(16개 이상)에서는 조금 다릅니다. 이럴 땐 단일 에이전트나 분산형 구조(중앙 조정자 없이 각자 작동)가 가장 효율적이에요. 중앙 조정 오버헤드가 너무 크기 때문이죠.

연구팀은 이런 원칙들을 바탕으로 작업 특성만 입력하면 최적의 에이전트 구조를 87% 정확도로 예측하는 프레임워크를 만들었습니다. 실제로 새로운 GPT 모델에서 테스트했을 때도 이 원칙들이 그대로 작동했고요.

핵심은 간단합니다. “에이전트를 몇 개 쓸까?”가 아니라 “이 작업에 정말 여러 에이전트가 필요한가?”를 먼저 물어야 한다는 겁니다.

참고자료: More AI agents isn’t always better, new Google and MIT study finds – The Decoder