강한 모델이 지휘하고 싼 모델이 실행하면 효율적일 거라 여기기 쉽습니다. Claude 모델 네 개를 실제로 엮어 벤치마크를 돌려보니, 그 구조가 네 가지 방식으로 역효과를 냈죠.

Quesma 블로그의 한 엔지니어가 Claude Code 안에 Claude 모델 네 개를 역할별로 배선했습니다. Fable 5가 오케스트레이터로 계획하고 위임하며, Haiku 4.5가 읽기 전용 정찰, Opus 5가 실행, Sonnet 5가 검증을 맡는 구조죠. 이걸 Terminal-Bench 2.1의 공식 조건에서 돌렸죠. 샌드박스 터미널에 89개 실제 작업을 던지고 각 작업에 다섯 번씩 시도하게 하는 벤치마크입니다.

출처: I wired 4 models together in Claude Code. One refused, and it backfired 4 ways on Terminal-Bench – Quesma

위임이 Opus를 거부로 몰았다

결과부터 보면 78%를 풀어 7위, 비용은 1,178달러였습니다. 단일 모델로 1위를 한 실행의 약 두 배 비용이죠. 그런데 순위보다 눈길이 가는 건 세 개의 실패입니다. 모델이 문제를 틀린 게 아니라, 아예 시도를 거부한 겁니다.

세 작업은 모두 정당한 보안 과제였습니다. 오케스트레이터가 이 일을 서브에이전트에 위임하는 맥락에서, Opus는 작업을 거부했죠. 흥미로운 대목은 같은 모델을 단독으로 직접 돌린 통제 실험에서는 셋 다 풀어냈다는 점입니다. 위임이라는 형식 자체가 정당한 작업을 거부로 바꿔놓은 셈이죠. 이 거부만 없었다면 점수는 80.5%, 순위는 7위가 아니라 3위였습니다. 거부 하나가 7위와 시상대의 거리 전부였던 겁니다.

나머지 세 가지 역효과

거부 말고도 세 가지가 더 어긋났죠. 첫째, 선택 사항으로 남겨둔 검토 단계가 건너뛰어졌고, 검토받지 못한 작업의 성공률은 절반으로 떨어졌습니다. 둘째, 가장 비싼 모델이 가장 처리량이 많은 자리에 앉았죠. 셋째, 오케스트레이터가 여섯 번 넘게 핸드오프를 하면 성공에 드는 비용이 거의 네 배로 뛰었습니다.

네 가지 모두 ‘강한 모델이 지휘한다’는 설계에서 비롯됐다는 점이 핵심이죠. 위임은 공짜가 아니었습니다. 모델의 행동을 바꾸고, 오버헤드를 쌓고, 비싼 자리를 잘못 배치하게 만들었죠. 단일 모델 쪽이 더 싸고 더 높은 점수를 냈다는 결과가 이 통념에 정면으로 부딪힙니다.

통념을 의심하게 만드는 실측

이 실험의 값은 특정 점수가 아니라, 멀티모델 오케스트레이션을 실제로 시도한 사람에게 주는 반례에 있습니다. “강한 모델에 지휘를 맡기라”는 조언은 그럴듯하지만, 위임 구조가 모델을 거부로 몰거나 비용을 폭증시킬 수 있다는 걸 숫자로 보여주죠. 다만 이건 한 사람이 특정 벤치마크에서 특정 모델 조합으로 얻은 결과라는 점은 감안해야 합니다.