한 회사가 자동차 고장 상담용 AI 챗봇을 만들었습니다. 목소리는 자연스러웠고, 응답도 빨랐고, 문제를 설명하면 담당자가 곧 콜백을 준다고 안내했습니다. 컨설턴트 닉 수레시가 본 것 중 가장 완성도 높은 구현이었습니다. 그런데 6개월이 지난 지금까지, 콜백은 오지 않았습니다.

지난 1년 반 동안 자기 회사의 영업을 총괄하고 거의 모든 프로젝트의 기술 부문을 이끌어온 수레시는, 블로그를 운영하며 전 세계 실무자들과 300여 차례 미팅을 가졌습니다. 니치 서비스업 현장 담당자부터 포춘 500대 기업 임원까지 다양했습니다. 그가 본 AI 프로젝트 중 성공한 사례는, 직접 참여한 것이든 지나가며 목격한 것이든, 단 하나도 없었다고 말합니다.

출처: AI Mania Is Eviscerating Global Decision-Making – Ludicity

콜백 없는 챗봇이 성공 사례로 남는 이유

수레시가 미쓰비시 챗봇 일화를 꺼낸 이유가 있습니다. 이게 실패한 사례가 아니라, 그가 본 것 중 가장 잘 만든 사례라는 점입니다. 목소리는 자연스러웠고, 응답 속도도 빨랐고, 실제로 운영 중인 시스템이라는 게 분명했습니다.

그런데 콜백이 오지 않았을 때, 이 실패는 어디에도 기록되지 않았습니다. 오류로 잡히지도 않았고, 챗봇이 문의를 처리하지 못했다는 신호도 남지 않았죠. 수레시는 이렇게 씁니다. “그 요청이 그냥 허공으로 사라진 걸까요? 폰봇이 사람 개입 없이 문의를 해결한 것처럼 보였을까요?” 알 수 있는 건 하나뿐입니다. 콜백을 못 받았으니 오류로 안 잡혔다는 것.

수레시의 팀은 이런 패턴을 반복해서 봤습니다. 내부용 챗봇이든 고객용 챗봇이든, 프로젝트 책임자들은 기본적인 지표조차 추적하지 않으려 합니다. 실제로 도구가 쓰이고 있는지조차 확인하지 않거나, 쉽게 조작 가능한 지표만 추적합니다. 그래서 컨설팅 팀은 아예 진행 중인 AI 프로젝트에 관해 아무것도 묻지 않는 법을 배웠다고 합니다. 그 프로젝트가 시작된 시점이면 이미 늦었고, 위기가 터질 때까지는 개입할 방법이 없기 때문입니다.

“이단자는 총살당한다”

수레시가 관찰한 더 이상한 현상은 따로 있습니다. 직원 500명이 넘는 규모의 조직에서는, 승진은커녕 계속 고용을 유지하는 것조차 AI의 혁신적 힘을 반복해서 고백하는 일이 되어버렸다는 겁니다. 그는 이걸 “종교적 신앙 고백”이라고 표현합니다. 업무에 AI를 어떻게 쓸지 아이디어를 내는 수준이 아니라, 믿음을 선언하는 수준이라는 뜻입니다.

한 임원은 회의 도중 맥락 없이 “AI가 모든 걸 바꾸고 있다”고 거의 토씨 하나 안 틀리고 말한 뒤, 잠시 후 자기 조직이 LLM을 실제로 쓰는 곳이 하나도 없다는 걸 인정했습니다. 그가 댈 수 있는 유일한 변화는 무료 버전 ChatGPT를 가끔 써본다는 것뿐이었죠.

AI가 통하지 않는다고 솔직하게 말하는 사람들의 처지는 더 나쁩니다. 정직한 직원은 곧 해고되거나, “무작위로” 선정된 인력 감축 대상에 포함됩니다. 경영진에게 이 상황을 언론에 솔직히 말하면 자리에서 빠르게 밀려납니다. 그 결과, 이사회부터 벤더까지 이 공간에 있는 거의 모든 행위자에게 AI 프로젝트의 성공률을 흐리거나 왜곡하는 게 이익이 되는 구조가 만들어졌습니다. 이미 순전히 코파일럿 라이선스만 사고 승리를 선언한 기업들이, 상장사 발표에서 “AI 생산성 향상”을 이야기하는 걸 수레시는 여러 번 목격했다고 말합니다.

아무도 진짜 성과를 재지 않는다

이 두 관찰을 겹쳐놓으면 하나의 구조가 보입니다. 성과를 측정하면 대부분 실패가 드러나고, 실패를 말하면 자리를 잃습니다. 그러니 애초에 측정하지 않는 쪽이 조직 내 모든 사람에게 합리적인 선택이 되는 셈입니다. 지표를 안 재는 게 무능해서가 아니라, 재는 순간 감당해야 할 리스크가 더 커지기 때문이라는 것.

수레시는 이 글이 조직을 무너뜨리려는 의도가 아니라, 이런 광풍 속에서 제정신을 유지하려 애쓰는 사람들에게 “당신이 미친 게 아니다”라고 말해주기 위한 것이라고 밝힙니다. 자신이 발 딛고 있는 조직에서 성과 지표를 슬그머니 피하는 신호, 문제 제기가 조용히 묻히는 신호가 있는지는 결국 각자 눈여겨볼 몫입니다.