글로벌 컨설팅 기업 딜로이트가 AI로 만든 보고서의 허위 인용 문제로 호주 정부에 환불하기로 한 바로 그날, 47만 직원에게 앤스로픽의 Claude를 도입하는 역대 최대 규모 엔터프라이즈 AI 계약을 발표했습니다. 이 아이러니한 상황은 AI를 도입하는 기업들이 직면한 현실을 그대로 보여줍니다.
핵심 포인트:
- 44만 달러 보고서의 14개 허위 인용: GPT-4o가 생성한 존재하지 않는 학술 논문과 법원 판결 인용문을 검증 없이 정부에 제출. 시드니대 교수에게 귀속된 가짜 논문만 여러 건
- 환각 발견 후 더 큰 투자: 사고 당일 47만 직원 Claude 도입, 1.5만명 AI 전문가 양성, Claude Center of Excellence 설립 등 앤스로픽 역사상 최대 엔터프라이즈 계약 발표
- AI 없이는 경쟁 불가능한 현실: 딜로이트는 2030년까지 생성형 AI에 30억 달러 투자 계획. 실패에도 불구하고 AI 의존도를 높이는 건 선택이 아닌 생존 문제
273페이지 보고서에 숨겨진 14개의 거짓말
지난 7월, 딜로이트 호주는 정부 복지 시스템의 자동화된 처벌 시스템을 검토한 273페이지 분량의 ‘목표 규정준수 프레임워크 보증 검토(Targeted Compliance Framework Assurance Review)’ 보고서를 호주 고용노사관계부(DEWR)에 제출했습니다. 계약 금액은 43만 9천 호주 달러(약 6억원).
시드니대학교 보건복지법 부소장인 크리스 러지(Chris Rudge) 박사가 보고서를 검토하다가 이상한 점을 발견했습니다. 같은 대학 공법 교수인 리사 버튼 크로포드(Lisa Burton Crawford)의 이름으로 된 논문이 여러 개 인용되어 있었는데, 크로포드 교수는 그런 논문을 쓴 적이 없었습니다.
“즉시 AI가 환각으로 만들어낸 것이거나 세상에서 가장 잘 숨겨진 비밀이라는 걸 알았습니다. 그런 책에 대해 들어본 적도 없었고 제목 자체가 말도 안 됐으니까요.” 러지 박사의 말입니다.
더 조사해보니 문제는 훨씬 심각했습니다. 141개 참고문헌 중 14개가 완전히 허구였습니다. 존재하지 않는 학술 논문, 스웨덴 룬드대학교 교수의 가짜 연구, 그리고 로보데트(Robodebt) 사건의 연방법원 판사 발언이라며 인용한 완전히 조작된 인용문까지.
9월 26일, 딜로이트는 수정된 보고서를 조용히 업로드했습니다. 58페이지에 작은 글씨로 이런 문구가 추가됐습니다: “기술 업무 흐름의 일부는 DEWR가 라이선스하고 DEWR의 Azure 테넌시에 호스팅된 생성형 AI 대규모 언어 모델(Azure OpenAI GPT-4o) 기반 도구 체인을 사용했습니다.”
딜로이트는 계약금의 마지막 할부금을 환불하기로 합의했지만, 정확한 금액은 공개하지 않았습니다. 보고서의 실질적 권고사항에는 변화가 없다고 밝혔습니다.
같은 날 발표된 역설적 결정
2025년 10월 6일. 딜로이트의 AI 환각 사고와 환불 소식이 보도된 바로 그날, 딜로이트와 앤스로픽은 대규모 파트너십 확대를 발표했습니다.
계약의 주요 내용은 명확합니다. 딜로이트의 전 세계 47만 직원에게 Claude를 제공합니다. 이는 앤스로픽 역사상 최대 규모의 엔터프라이즈 배포입니다. 1만 5천명의 딜로이트 전문가를 Claude 인증 프로그램을 통해 교육하고, Claude Center of Excellence를 설립해 전문가들이 구현 프레임워크를 개발하고 기술 지원을 제공하도록 합니다.
직원들은 회계사용, 소프트웨어 개발자용 등 각 부서에 맞춤화된 Claude ‘페르소나’를 사용하게 됩니다. 금융 서비스, 헬스케어, 공공 서비스 등 규제 산업을 위한 컴플라이언스 기능도 공동 개발합니다.
앤스로픽의 최고상업책임자 폴 스미스는 “딜로이트가 Claude를 선택한 이유는 전 세계적 규모로, 산업 전반에 걸쳐 직원과 고객을 지원할 수 있는 신뢰할 수 있는 AI가 필요했기 때문”이라고 설명했습니다.
딜로이트 글로벌의 기술 및 생태계 제휴 리더인 란짓 바와는 “책임 있는 AI에 대한 우리의 접근 방식이 매우 일치하기 때문에 앤스로픽의 AI 플랫폼에 이러한 대규모 투자를 하고 있다”고 밝혔습니다.
타이밍의 아이러니를 놓칠 수 없습니다. GPT-4o의 환각으로 정부에 환불하는 날, Claude 도입을 발표한 것입니다.
실패했지만 멈출 수 없는 이유
왜 AI로 실수를 했으면서도 더 큰 투자를 하는 걸까요? 딜로이트만의 문제도 아닙니다.
시카고 선타임즈는 5월에 여름 독서 목록에 AI가 환각으로 만든 가짜 책 제목을 실었습니다. 저자는 실제 인물이었지만 책은 존재하지 않았습니다. 아마존의 AI 생산성 도구 Q Business는 출시 첫 해 정확도 문제로 어려움을 겪었다고 비즈니스 인사이더가 보도했습니다. 심지어 앤스로픽도 올해 초 음악 출판사와의 법적 분쟁에서 Claude가 환각으로 만든 판례 인용을 사용해 사과해야 했습니다.
문제는 AI 환각이 아니라 검증 프로세스의 부재입니다. 딜로이트는 보고서 초안에서 GPT-4o 사용 사실을 공개하지 않았고, AI가 생성한 인용을 확인하지도 않았습니다. 러지 박사의 지적처럼 “원래 보고서의 주장이 어떤 특정 증거 출처에 기반하지 않았다는 것을 보여줍니다.”
그렇다고 AI를 포기할 수는 없습니다. 딜로이트는 2030년까지 생성형 AI에 30억 달러를 투자할 계획입니다. 란짓 바와의 말처럼 “고객들은 ‘당신들도 사용하고 있나요?’라고 묻습니다. 더 나은 조언을 하고 더 신뢰를 얻으려면 우리 스스로부터 시작해야 합니다.”
경쟁사들도 모두 AI를 도입하고 있습니다. AI 없이는 효율성 경쟁에서 뒤처질 수밖에 없습니다. 실패를 경험했기에 오히려 제대로 된 AI를 선택하려는 것입니다.
엔터프라이즈 AI, 제대로 도입하려면
딜로이트 사례는 AI 도입이 기술 문제가 아니라 프로세스 문제라는 점을 분명히 보여줍니다. 실무적으로 몇 가지 교훈을 얻을 수 있습니다.
첫째, AI 사용을 명시적으로 공개해야 합니다. 딜로이트가 처음부터 GPT-4o 사용을 밝혔다면 검증 프로세스도 달라졌을 것입니다. 투명성은 신뢰의 시작입니다.
둘째, AI 출력물은 반드시 검증해야 합니다. 특히 인용, 참고문헌, 통계 수치는 사람이 직접 확인해야 합니다. AI는 그럴듯한 거짓말을 너무 자연스럽게 만듭니다.
셋째, 적절한 AI를 선택해야 합니다. 딜로이트가 Claude를 선택한 이유는 앤스로픽의 안전 우선 설계와 Trustworthy AI 프레임워크 때문입니다. 규제 산업에서는 컴플라이언스와 통제가 중요합니다.
넷째, 조직 전체의 AI 역량을 키워야 합니다. 1만 5천명을 교육하고 Center of Excellence를 만드는 이유는 AI를 제대로 활용하려면 전문 지식이 필요하기 때문입니다.
AI는 피할 수 없는 흐름입니다. 하지만 검증 없는 AI 의존은 6억원짜리 실수로 이어질 수 있습니다. 딜로이트의 선택은 명확합니다. 실패를 교훈 삼아 더 나은 AI를 더 체계적으로 도입하는 것입니다.
참고자료:
- Deloitte goes all in on AI — despite having to issue a hefty refund for use of AI
- Deloitte admits AI hallucinated quotes in government report, offers partial refund
- Deloitte will refund Australian government for AI hallucination-filled report
- Anthropic Deloitte Partnership
- Anthropic lands its biggest enterprise deployment ever with Deloitte
- Deloitte to pay money back to Albanese government after using AI in $440,000 report
답글 남기기