Google이 주최한 Agent Bake-Off 대회에서는 팀들이 3시간 안에 자율 AI 에이전트로 실제 산업 문제를 해결해야 했다. 이커머스 반품 처리, 레거시 뱅킹 시스템 현대화, 스타트업 GTM 전략 자동화 등 까다로운 과제에서 성공한 팀과 실패한 팀을 관찰해 도출한 5가지 실전 교훈을 소개한다.

팁 1 — 모놀리식 에이전트를 분해하라 (멀티-에이전트 아키텍처)

하나의 거대한 LLM에 의도 추출, DB 검색, 스타일 추론을 모두 맡기면 할루시네이션(hallucination)과 레이턴시(latency) 급증이 따라온다. 대신 복잡한 작업을 전문화된 서브에이전트로 분해하고, 수퍼바이저 에이전트가 라우팅을 담당하게 한다. 마이크로서비스처럼 생각하면 된다.

대회 사례: 한 팀이 스코프를 좁힌 에이전트들을 병렬 실행해 처리 시간을 1시간에서 10분으로 단축했다. 모델 교체나 DB 스키마 변경 시 해당 서브에이전트 하나만 수정하면 된다.

[수퍼바이저 에이전트]
    ├── [의도 분류 에이전트]
    ├── [DB 검색 에이전트]
    └── [응답 생성 에이전트]

팁 2 — 에이전트 하네스(harness)는 교체된다, 모듈식으로 설계하라

가상 피팅룸(virtual try-on) 과제에서 팀들이 멀티스텝 에이전트를 만든 지 몇 주 후, 동일한 기능이 단일 프롬프트 하나로 가능해졌다. AI는 빠르게 발전한다. 오늘 만든 복잡한 에이전트 하네스(harness)가 몇 달 뒤 최신 모델로 대체될 수 있다. 임시성을 전제로 모듈식 설계를 해야 낡은 코드를 빠르게 걷어낼 수 있다.

팁 3 — 멀티모달은 선택이 아닌 핵심 요구사항이다

“파란 청바지를 입어보세요”라는 텍스트 추천은 실제 이커머스 문제를 해결하지 못한다. 최고 성적을 거둔 팀들은 사용자 사진을 받아 시각 컨텍스트를 추출하고, 이미지 생성 도구와 연동해 합성 이미지를 렌더링하는 멀티모달(multimodal) 파이프라인을 구현했다. 텍스트만이 아니라 이미지·영상·음성을 네이티브로 처리하는 아키텍처를 처음부터 설계에 포함시켜야 한다.

팁 4 — 오픈 프로토콜을 활용하라 (MCP, A2A 등)

레거시 뱅킹 시스템 연동 과제에서 팀마다 커스텀 API 래퍼를 작성하느라 시간을 낭비했다. AI 에이전트 생태계에는 이미 표준 프로토콜들이 있다:

커스텀 통합 코드 대신 이 프로토콜들을 활용하면 에이전트가 동적으로 리소스를 발견하고 JSON 페이로드로 통신할 수 있어 유지보수 부담이 줄어든다.

팁 5 — LLM은 추론, 결정론적 코드는 실행

LLM에게 복리 이자 계산을 직접 맡기는 것은 위험하다. 확률적 모델이 수학 연산에서 할루시네이션을 일으킬 수 있기 때문이다. 뱅킹 과제에서 이 실수를 범한 팀들은 즉시 검증 오류에 부딪혔다.

올바른 패턴:

[LLM] 의도 파악 → JSON 스키마 출력
→ [Pydantic 등 스키마 검증]
→ [결정론적 Python 함수 / SQL] 실행

LLM은 생각하게, 코드는 실행하게. 이 분리가 신뢰할 수 있는 프로덕션 에이전트의 핵심이다.

요약

관련 문서

• agent-skills — AI 에이전트 스킬 시스템
• claude-agent-sdk — Claude Agent SDK로 프로덕션 에이전트 구축
• gstack — Claude Code를 가상 엔지니어링 팀으로 운용

참고

• Google Cloud AI Agent Bake-Off 시리즈
• Agent Development Kit (ADK)