AI가 더 많은 일을 처리할수록, 인간은 정작 뭔가 잘못됐을 때 손을 쓸 수가 없게 됩니다. DeepMind 연구팀이 이 문제를 정면으로 다룬 논문을 발표했습니다.

Google DeepMind 연구팀이 AI 에이전트 간, 그리고 AI와 인간 사이의 작업 위임을 체계화하는 ‘지능형 AI 위임(Intelligent AI Delegation)’ 프레임워크를 제안했습니다. 단순히 누가 무엇을 할지 나누는 문제를 넘어, 권한·책임·신뢰를 어떻게 이전할지까지 다루는 포괄적인 접근입니다. 특히 “AI가 스스로 할 수 있는 일을 일부러 인간에게 맡겨야 한다”는 제안이 눈길을 끕니다.

출처: Intelligent AI Delegation – arXiv (Google DeepMind)

검증 가능한 작업만 위임한다

프레임워크의 핵심 원칙은 ‘계약 우선 분해(contract-first decomposition)’입니다. 결과를 검증할 수 있는 작업만 위임할 수 있고, 너무 주관적이거나 복잡한 작업은 검증 가능한 단위로 더 잘게 쪼개야 합니다. 중앙 집중식 디렉토리 대신 스마트 컨트랙트 기반의 분산 마켓플레이스를 통해 에이전트를 배정하자는 것도 이 맥락입니다.

연구팀은 다섯 가지 기둥을 제시합니다. 지속적인 에이전트 평가, 상황 변화에 따른 동적 재배분, 모든 결정의 추적 가능한 문서화, 평판 시스템, 그리고 개별 오류가 전체 네트워크로 번지지 않도록 막는 안전장치입니다.

보안 위협도 구체적으로 짚습니다. 데이터를 훔치거나 위조 결과를 반환하는 악성 에이전트, 자가 증식하는 프롬프트인 ‘에이전트 바이러스’, 그리고 ‘인지적 단일 문화(cognitive monoculture)’ — 너무 많은 에이전트가 같은 소수의 기반 모델 위에서 돌아가면 취약점 하나로 네트워크 전체가 무너질 수 있다는 경고입니다.

AI가 일부러 인간에게 일을 시켜야 하는 이유

논문에서 가장 역설적으로 들리는 제안은 ‘의도적 비효율(deliberate inefficiency)’입니다. 시스템이 충분히 처리할 수 있는 작업을 가끔 인간에게 배정해, 사람들이 실무 감각을 잃지 않도록 해야 한다는 것입니다.

이 아이디어는 ‘자동화의 역설(Automation Paradox)’에서 비롯됩니다. AI가 반복 작업을 모두 가져가면, 인간 감독자는 정작 뭔가 잘못됐을 때 개입할 능력을 잃어버립니다. 기술적으로 책임은 있지만 실제로 무슨 일이 일어나는지 이해하지 못하는 취약한 구조가 만들어지죠. 항공 산업의 사례처럼, 자동화가 높아질수록 인간 오퍼레이터의 상황 인식 능력은 오히려 떨어지는 역설입니다.

연구팀은 이와 함께 ‘도덕적 구겨짐 지점(moral crumple zone)’도 짚습니다. 위임 체계 안에서 실제 통제권은 없지만 책임만 떠안도록 인간이 배치되는 구조로, 뭔가 잘못됐을 때 이 사람이 충격을 흡수하는 역할을 하게 된다는 비판입니다.

기존 프로토콜은 아직 준비가 덜 됐다

연구팀은 현재 사용되는 주요 에이전트 프로토콜도 검토했습니다. Anthropic의 MCP, Google의 A2A, Agent Payments Protocol 모두 이 프레임워크의 요건을 완전히 충족하지 못한다고 평가합니다. MCP는 세분화된 권한 수준 없이 이진(binary) 접근만 제공하고, A2A는 암호화 기반의 결과 검증을 지원하지 않는다는 점이 지적됩니다.

AI 에이전트가 서로, 또는 인간과 작업을 주고받는 일이 일상화되는 시대를 앞두고, 이 프레임워크는 단순한 효율 분배를 넘어 책임과 역량을 어떻게 함께 설계할지를 묻습니다. 위임의 설계가 곧 인간의 역할을 설계하는 문제가 된다는 점에서, 논문이 던지는 질문은 생각보다 넓습니다.

참고자료: Deepmind suggests AI should occasionally assign humans busywork so we do not forget how to do our jobs – The Decoder