당신이 받은 보고서가 AI로 작성됐다는 걸 알면, 당신도 그걸 AI로 검토하게 됩니다. 그 검토 결과를 받은 다음 사람도 마찬가지죠. 이렇게 한 단계씩 사람이 검증을 포기할 때마다, 원래 정보는 조용히 부서져 갑니다. AI가 결과물을 더 빨리, 더 많이 찍어낼수록 정작 조직이 의존하는 지식 자체는 더 망가지는 역설이 벌어지고 있습니다.
하버드 비즈니스 리뷰(HBR)에 실린 한 글이 이 현상에 ‘지식 부패(knowledge decay)’라는 이름을 붙였습니다. 개인이 AI로 그럴듯하지만 알맹이 없는 결과물을 만들어내는 ‘워크슬롭(workslop)’ 문제가, 여러 사람의 업무 흐름을 타고 번지면 조직 전체의 정보 품질이 무너진다는 분석입니다. 채용, 연구, 의료 등 AI가 단계마다 끼어든 현장에서 이미 벌어지고 있는 일이죠.
출처: Don’t Let AI Slop Muck Up Your Company’s Processes – Harvard Business Review
“어차피 AI가 읽을 텐데” 한 마디가 시작입니다
지식 부패는 한 사람이 품질 관리를 놓는 순간 시작됩니다. 누군가 AI가 만든 결과물을 검토하지 않고 그대로 넘기면, 그걸 받은 사람은 이렇게 생각합니다. “어차피 AI가 읽을 거면, 나도 AI로 만들면 되지.” 이 생각이 업무 사슬을 따라 번지면 프로세스 전체의 신뢰가 무너집니다.
채용 과정이 대표적입니다. AI는 채용 공고를 쓰고, 키워드에 맞춰 최적화된 이력서와 자기소개서를 만들고, 다시 그 이력서를 키워드로 분석해 지원자 순위를 매깁니다. 지원자는 면접 중 실시간으로 LLM을 몰래 써서 답변을 만들기도 하죠. 약간의 지연 뒤에 매끄럽지만 밋밋한 답이 나오는 걸로 알아챌 수 있다고 합니다. 결국 우리가 평가하는 게 지원자의 실제 적합성인지, 아니면 누가 AI를 더 잘 썼는지인지 알 수 없게 됩니다. 한 연구는 AI 덕에 채용 공고는 더 많이 올라오지만, 더 뻔하고 정보가 부족하며 적합한 후보를 찾을 가능성은 오히려 낮아진다는 점을 확인했습니다.
세 가지 함정: 검증, 인간 가치, 그리고 엔트로피
저자들은 이 문제를 세 가지 도전 과제로 정리합니다.
- 검증(verification) — 내용이 사실인지 확인하는 일입니다. AI가 정교해질수록 사실인 정보와 그럴듯한 환각을 가려내기가 더 어려워집니다. 검증에는 비판적 사고와 추가 조사가 필요한데, 이 수고가 AI로 얻은 생산성 향상을 도로 까먹는 경우가 많습니다.
- 인간 가치의 입증(validation) — 분석 보고서나 법률 문서를 받는 쪽은 이제 어디까지가 사람의 작업이고 어디부터가 AI인지 가려내야 합니다. 컨설팅 보고서가 좋은 예입니다. 고객은 AI가 찍어낸 슬라이드에 비싼 자문료를 낼 생각이 없죠. 실제로 호주 정부에 제출된 한 컨설팅 보고서에서 AI 환각이 발견돼 비용을 환불한 사례도 있었습니다.
- 엔트로피(entropy) — 질서가 무너져 무질서로 향하는 현상입니다. 지식이 AI를 거칠수록 원본에서 점점 멀어집니다.
세 번째 엔트로피가 가장 무섭습니다. HBR이 만난 한 의료 기관은 보험사로부터 AI가 만든 긴 법률 문서를 대량으로 받는데, 사람이 일일이 검토할 수 없어 이마저 AI로 읽습니다. AI가 쓴 걸 AI가 요약하는 ‘전화 게임’이 벌어지는 셈이죠. 한 바퀴 돌 때마다 정보는 원래의 사실에서 조금씩 더 벗어납니다. 이건 LLM의 근본 구조에서 나오는 문제라, 모델을 여러 번 거칠수록 원본과 멀어지는 건 관리할 수는 있어도 완전히 없앨 수는 없습니다.
AI가 AI를 먹고 자라면 벌어지는 일
엔트로피의 더 심각한 버전이 ‘모델 붕괴(model collapse)’입니다. LLM을 다른 LLM이 만든 합성 데이터로 학습시킬 때 일어나는 현상으로, ‘생성적 근친교배(generative inbreeding)’라고도 불립니다. 2024년 네이처에 실린 연구는 생성 모델을 자기가 만든 데이터로 반복 학습시키면 모델의 정확도와 다양성이 무너진다는 걸 보여줬습니다.
이게 왜 중요할까요. 이미 인터넷과 소셜미디어 콘텐츠의 절반가량이 AI로 생성됐다는 추정이 있고, 이 콘텐츠는 결국 다음 세대 AI의 학습 데이터가 됩니다. 사람이 만든 원본 데이터가 점점 희귀해지는 거죠. 역설적이게도 지식 부패를 막는 일은 AI를 쓰는 쪽뿐 아니라 AI를 만드는 쪽에게도 똑같이 절박한 문제가 됩니다.
가장 귀해지는 건 ‘사람이 만든 원본’
이 글이 던지는 통찰은 처방이 아니라 관점의 전환에 있습니다. AI 시대에 진짜 가치를 갖는 건 매끄러운 결과물이 아니라, 사람의 감정과 검증 가능한 사실과 맥락이 담긴 ‘원본(ground truth)’ 데이터라는 점입니다. 고객 인터뷰 녹취록이 봇이 만든 리뷰보다 비교할 수 없이 귀한 이유죠. 생성된 콘텐츠 위에서는 신호와 잡음을 더 이상 구분할 수 없기 때문에, 한번 원본을 잃으면 나중에 다시 분석하거나 새로운 질문을 던질 수도 없습니다.
당신이 매일 AI로 무언가를 만들어 다음 사람에게 넘길 때, 그 결과물이 어떤 원본에 뿌리를 두고 있는지를 의식하는 것. 어쩌면 그게 AI를 가장 많이 쓰는 시대에 가장 중요한 분별력일지 모릅니다. 원문은 이 외에도 리더가 조직 차원에서 지식 부패에 대응하는 전략을 다루는데, 조직 관점의 처방이 궁금하다면 원문을 참고하시면 좋습니다.
참고자료:
답글 남기기