전혀 모르는 분야를 AI에게 물어보면 답이 술술 나옵니다. 논리도 그럴듯하고, 근거도 풍부해 보이죠. 그런데 정작 내가 몇 년을 파고든 주제를 물으면, 어딘가 허전하고 겉도는 느낌을 받은 적 있을 겁니다. 보안 컨설턴트 다니엘 미슬러는 이게 AI의 실력 문제가 아니라고 말합니다. 문제는 우리가 그 실력을 가늠하는 방식에 있다는 겁니다.

미슬러는 짧은 에세이 하나에서 이 착시를 정면으로 짚었습니다. 자신의 전문 분야에서 몇 발짝 멀어질수록 AI는 더 똑똑하게 들리고, 더 멀어질수록 그 느낌은 더 강해진다는 겁니다. 비슷한 시기, 뉴스레터 아트피시닷에이아이에는 이 착시가 누적되면 어떤 모습이 되는지 보여주는 관찰기가 올라왔습니다. 모든 대화를 녹음해 AI에게 판단을 맡기는 사람의 이야기입니다.

출처:

• Avoid the AI Expertise Trap – Daniel Miessler
• Are we offloading too much of our thinking to AI? – artfish.ai

거리가 멀수록 그럴듯해지는 답

미슬러가 말하는 건 이렇습니다. 언어 구사력만 충분하면 누구나 내가 잘 모르는 분야에서는 똑똑해 보일 수 있다는 겁니다. AI도 마찬가지입니다. 전문 용어를 적절히 섞고 논리적인 문장 구조로 답을 내놓으면, 그 분야를 모르는 사람 눈에는 정교한 분석처럼 읽힙니다. 하지만 그 답을 검증할 배경지식이 없다면, 틀린 부분도 맞는 부분도 구분할 방법이 없습니다.

그래서 그는 AI를 시험할 때 무작위 질문을 던지는 대신, 자신이 이미 논쟁의 앞뒤를 훤히 꿰고 있는 주제로 깊이 있는 질문 몇 개를 준비해두라고 제안합니다. 이 질문들을 AI 성능을 가늠하는 기준점으로 삼으면, 낯선 분야에서 AI가 그럴듯하게 들릴 때도 그 인상을 어느 정도 걸러낼 수 있다는 논리입니다.

아침 메뉴부터 연애까지 맡긴 사람들

이 착시를 걸러내지 못하면 어떻게 될까요. 아트피시닷에이아이의 필자는 두 가지 장면으로 그 답을 보여줍니다. 하나는 켄 리우의 2012년 SF 단편 ‘퍼펙트 매치’에 나오는 AI 비서 “틸리”입니다. 주인공은 아침 메뉴부터 연애 상대까지 전부 틸리에게 묻고, 틸리는 “당신 취향을 나보다 잘 아는 사람이 있을까요”라며 답해줍니다.

다른 하나는 필자가 실제로 만난 인물입니다. 샌프란시스코의 한 스타트업 행사에서, 옷깃에 작은 마이크를 달고 다니며 하루 종일 모든 대화를 녹음하는 사람을 만났다고 합니다. 그는 하루 일과가 끝나면 이 녹음을 정리해 요약·분석하는 작업을 돌린다며, “Claude Fable이 나보다 똑똑하다. 비판적 사고도 나보다 낫다. 요즘은 생각하는 일 자체를 다 맡긴다”고 말했습니다.

검색엔진 시대에도 우리는 이미 사고의 일부를 위임하고 있었습니다. 다만 그때는 질문을 쪼개고, 결과를 평가하고, 여러 출처를 종합하는 과정이 사람의 몫으로 남아 있었습니다. AI는 이 중간 과정 자체를 대신 처리해, 복잡하고 낯선 질문에도 몇 분 만에 완성된 답을 내놓습니다. 편리하지만, 그만큼 우리가 직접 판단하던 자리가 줄어드는 셈입니다.

판단 기준 없이 맡기면 생기는 일

두 글을 나란히 놓으면 하나의 흐름이 보입니다. 잘 모르는 분야일수록 AI가 똑똑해 보이는 착시를 알아채지 못하면, 그 착시는 한 번의 오판으로 끝나지 않고 점점 더 많은 판단을 AI에 넘기는 방향으로 누적됩니다. 마이크를 달고 다니는 남자도 처음부터 모든 사고를 맡기지는 않았을 겁니다. 어느 순간부터 AI의 답을 검증 없이 받아들이는 게 익숙해졌겠죠.

미슬러가 제안한 “내가 잘 아는 질문으로 먼저 시험해보라”는 접근은, 결국 이 착시를 붙잡는 하나의 닻입니다. 내 전문 영역에서 AI가 어디서 흔들리는지 알아두면, 낯선 영역에서 그럴듯한 답을 만났을 때도 그 인상을 곧이곧대로 믿지 않을 여지가 생깁니다. 무엇을 믿고 무엇을 맡길지는 결국 매번 다시 판단해야 할 몫으로 남습니다.