AI가 모든 업무를 완벽하게 처리할 거라는 기대, 과연 현실적일까요? Anthropic이 Claude의 실제 사용 데이터 100만 건을 분석한 결과는 의외였습니다. 작업이 복잡할수록 AI의 실패율이 크게 높아진다는 사실을 발견했거든요.

Anthropic이 2026년 1월 발표한 네 번째 경제 지수 보고서는 AI 업계 최초로 실제 사용 환경에서 AI의 작업 성공률을 체계적으로 분석했습니다. 2025년 11월 한 달간 Claude.ai 대화 100만 건과 API 기록 100만 건을 분석한 결과, AI의 생산성 향상 효과가 기존 예측의 절반 수준이라는 결론에 도달했죠. 이번 보고서의 핵심 발견은 작업 복잡도와 성공률 사이의 명확한 트레이드오프입니다.

출처: Anthropic Economic Index report: Economic primitives – Anthropic

복잡한 작업일수록 실패율이 높다

Anthropic은 Claude가 작업을 얼마나 성공적으로 완료하는지 측정했습니다. 결과는 분명했어요. API 요청 기준으로 1시간 미만의 작업은 약 60% 성공률을 보였지만, 5시간 이상 걸리는 복잡한 작업에서는 45%로 떨어졌습니다. 50% 성공률의 기준점은 약 3.5시간짜리 작업이었죠.

흥미로운 점은 Claude.ai에서는 이 패턴이 훨씬 완만하게 나타났다는 겁니다. 성공률이 50% 아래로 떨어지는 시점이 약 19시간 정도의 작업이었어요. 이 차이는 Claude.ai에서는 사용자가 여러 차례 대화를 주고받으며 방향을 수정할 수 있기 때문입니다. 반면 API는 단일 입력-출력 쌍으로만 작동하죠.

역설적이게도 복잡한 작업일수록 시간 절감 효과는 더 컸습니다. 고등학교 수준(12년 교육)의 작업은 9배 속도 향상을 보인 반면, 대학 학위 수준(16년 교육)의 작업은 12배 속도 향상을 보였거든요. 하지만 이런 고난도 작업의 성공률은 상대적으로 낮았습니다.

생산성 전망, 절반으로 하향 조정

이 성공률 데이터는 Anthropic의 생산성 예측을 크게 바꿨습니다. 이전 분석에서 Anthropic은 AI가 널리 도입되면 미국 노동 생산성 성장률을 연간 1.8%p 높일 수 있다고 예측했었어요. 하지만 실제 성공률을 반영하자 이 수치는 1.0-1.2%p로 떨어졌습니다.

여기서 끝이 아닙니다. AI가 빨리 처리하지 못하는 ‘병목 작업’의 영향까지 고려하면 예측치는 0.6-0.8%p까지 하락합니다. 예를 들어 교사가 AI로 수업 계획은 빠르게 준비해도, 실제 학생들과 교실에서 보내는 시간은 줄어들지 않는다는 거죠.

그래도 Anthropic은 연간 1%p의 생산성 향상도 의미 있다고 강조합니다. 10년간 지속되면 미국 생산성 성장률을 1990년대 후반과 2000년대 초반 수준으로 되돌릴 수 있다는 겁니다. 게다가 향후 모델은 더 높은 성공률을 보일 것으로 예상하고요.

사용자들은 다시 협업 모드로

사용 패턴에서도 흥미로운 변화가 관찰됐습니다. 2025년 8월에는 사용자들이 처음으로 작업을 완전히 Claude에게 맡기는 ‘자동화’ 모드를 더 많이 사용했었어요. 하지만 11월에는 다시 협업 모드가 우세해졌습니다. 협업 사용이 52%로 올라간 반면 자동화 사용은 45%로 떨어졌죠.

특히 사용자가 지시만 내리고 Claude가 추가 질문 없이 완료하는 ‘지시형’ 대화는 39%에서 32%로 크게 감소했습니다. Anthropic은 이 변화가 파일 생성, 지속적 메모리, 맞춤형 ‘Skills’ 같은 새 기능 때문이라고 분석합니다. 이런 기능들이 더 복잡한 워크플로를 가능하게 하면서 사용자 참여를 늘렸다는 거예요.

고학력 작업에 집중되는 AI 사용

보고서는 또 다른 중요한 패턴을 발견했습니다. Claude는 평균보다 고학력이 요구되는 작업에 더 많이 사용되고 있었어요. 미국 전체 작업의 평균 교육 요구 수준은 13.2년인데, Claude 사용 작업은 14.4년(준학사 학위 수준)이었습니다.

만약 AI가 이런 고학력 작업을 대체한다면 어떻게 될까요? 남은 작업의 평균 교육 수준이 낮아지는 ‘역숙련화’ 효과가 나타납니다. 예를 들어 여행사 직원은 복잡한 여행 계획 업무를 AI에게 뺏기고 티켓 발권과 결제 처리 같은 단순 업무만 남게 되는 식이죠.

반대로 일부 직업은 ‘숙련도 상승’을 경험합니다. 부동산 관리자의 경우 AI가 회계 업무를 처리하면서 계약 협상과 이해관계자 관리 같은 고급 업무에 집중할 수 있게 되는 겁니다.

투명성을 선택한 Anthropic

이번 보고서가 특별한 이유는 AI 기업이 자사 제품의 한계를 공개적으로 인정했다는 점입니다. 많은 AI 기업들이 장밋빛 전망만 제시하는 것과 대조적이죠. Anthropic은 실제 성공률 데이터를 공개하고, 이를 바탕으로 생산성 예측치를 스스로 절반으로 낮췄습니다.

보고서는 작업 복잡도, 인간과 AI의 교육 수준, 작업 유형, AI 자율성, 작업 성공률이라는 다섯 가지 ‘경제적 기본 요소’를 새롭게 도입했습니다. 이 데이터는 Hugging Face에 공개돼 외부 연구자들도 AI의 경제적 영향을 연구할 수 있게 했고요.

이런 접근은 AI 기술의 실제 역량에 대한 현실적 기대치를 설정하는 데 도움이 됩니다. AI는 분명 강력한 도구이지만 모든 작업을 완벽하게 처리하는 마법 같은 존재는 아니라는 거죠. 특히 복잡하고 시간이 오래 걸리는 작업일수록 사람의 검토와 개입이 필요하다는 점을 명확히 보여줍니다.

참고자료: Anthropic cuts AI productivity forecasts in half after analyzing Claude’s real-world failure rates – The Decoder