Anthropic이 최근 내놓은 Claude Fable 5는 금융, 법률, 의료를 포함한 여섯 개 산업별 벤치마크에서 전부 1위를 차지했습니다. 그런데 정작 Anthropic은 이 모델을 웬만하면 쓰지 말라고 말합니다. 대신 저렴한 모델에게 대부분의 일을 맡기고, Fable 5는 꼭 필요할 때만 불러 쓰라는 겁니다.
벤치마크 플랫폼 Artificial Analysis가 최근 발표한 산업별 성능 지표에서 Fable 5는 여섯 개 영역 모두 1위를 기록했습니다. 그런데 Strategy & Ops 지표를 보면, Fable 5는 작업 하나에 3.48달러가 드는 반면 DeepSeek V4 Pro는 0.03달러입니다. 100배 넘게 차이 나는 비용치고 점수 차이는 겨우 12점입니다. Anthropic이 스스로 이런 자문·위임 전략을 공식 문서로 권장하고 나선 배경입니다.
출처: Advisor tool – Claude Platform Docs
최고 모델과 저비용 모델, 성능 차이는 생각보다 작다
Artificial Analysis가 도입한 여섯 개 산업별 지표(금융·회계, 법률, 의료, 전략·운영, 엔지니어링, 경제학)에서 Fable 5는 예외 없이 1위를 차지했습니다. 2위는 대부분 Claude Opus 4.8이 지켰고, 일부 영역에서는 OpenAI GPT-5.5가 그 자리를 차지했습니다.
문제는 가격입니다. DeepSeek V4 Flash는 여섯 개 지표 전체를 작업당 0.04달러 미만으로 처리하면서도 중위권 점수를 냅니다. 오픈웨이트 모델 중에서는 GLM-5.2가 0.26~0.58달러 선에서 가장 좋은 성능을 보입니다. 반면 Fable 5는 Strategy & Ops 지표 기준 작업당 3.48달러, DeepSeek V4 Pro의 100배가 넘는 비용을 요구합니다. 그 대가로 얻는 점수 차이는 12점뿐입니다.
이런 격차는 “최고 모델이 항상 정답”이라는 전제를 흔듭니다. 비용 대비 성능을 따지면, 가장 똑똑한 모델을 매번 쓰는 쪽이 오히려 비효율적일 수 있다는 뜻이기 때문입니다.
Anthropic이 제시한 두 가지 조합 방식
Anthropic 개발자팀은 이 문제에 대한 답으로 두 가지 패턴을 공식 문서로 정리했습니다. 핵심은 비싼 모델과 저렴한 모델의 역할을 나누는 것입니다.
첫 번째는 Advisor(자문) 패턴입니다. 저렴하고 빠른 모델(실행자)이 실제 작업을 진행하다가, 판단이 필요한 순간에만 더 똑똑한 모델(자문가)을 호출해 조언을 구합니다. 자문가는 지금까지의 대화 전체를 읽고 방향을 제시한 뒤 물러나고, 실행자가 그 조언을 반영해 작업을 이어갑니다. SWE-bench Pro 코딩 테스트에서 Sonnet 5를 실행자로, Fable 5를 자문가로 쓴 조합은 Fable 5 단독 성능의 92퍼센트를 63퍼센트 비용으로 달성했습니다.
두 번째는 Orchestrator(위임) 패턴입니다. 이번에는 반대로 똑똑한 모델이 계획을 세우고, 저렴한 모델 여러 개에게 하위 작업을 나눠 맡깁니다. 관리자가 큰 그림을 그리고 실무자들이 나눠서 처리하는 구조에 가깝습니다. 웹 탐색 작업 벤치마크인 BrowseComp에서 이 방식은 Fable 5 단독 성능의 96퍼센트를 46퍼센트 비용으로 냈습니다.
두 패턴 모두 서브 에이전트마다 독립된 캐시를 사용해 같은 맥락을 중복으로 처리하는 비용을 줄입니다. Anthropic은 이 기능을 API 베타로 공개하면서, 실행자와 자문가 모델의 조합 규칙까지 문서로 정리해뒀습니다. 다만 아무 조합이나 되는 건 아니고, 자문가는 실행자보다 최소한 같거나 더 뛰어난 모델이어야 합니다.
최고 모델을 고정해서 쓰던 습관을 되돌아볼 때
이 발표가 흥미로운 지점은, 정작 가장 비싼 모델을 파는 회사가 나서서 “이걸 매번 쓰지 마라”고 말했다는 데 있습니다. 자사 모델의 압도적인 벤치마크 성적을 강조하는 대신, 그 성적을 낼 필요가 없는 순간과 필요한 순간을 구분해 알려준 셈입니다.
이는 API를 직접 다루는 개발자에게만 해당하는 이야기는 아닙니다. Claude.ai나 ChatGPT 같은 서비스에서 매번 가장 비싸고 느린 모델을 켜두는 대신, 평소에는 가벼운 모델을 쓰다가 판단이 애매한 순간에만 더 똑똑한 모델로 전환하는 습관도 같은 원리입니다. Anthropic이 최근 중국 오픈소스 모델들의 가격 경쟁과 OpenAI GPT-5.6의 토큰 효율을 의식해 이런 가이드를 낸 정황도 있는 만큼, 앞으로 이런 “모델 조합” 전략은 더 널리 퍼질 가능성이 높습니다.
참고자료:
답글 남기기