AI 챗봇이 답변 옆에 “확신도 90%”라는 숫자를 붙여주면, 왠지 이 답을 믿어도 될 것 같은 기분이 듭니다. 그런데 그 숫자는 사실 아무것도 측정하지 않은 값일 수 있습니다.

LLM 실무자 저스틴 플릭이 자신의 블로그에 이 문제를 정면으로 다뤘습니다. 여러 회사에서 “AI 답변에 확신도 점수를 붙여달라”는 요청을 반복해서 받아왔는데, 이게 왜 근본적으로 무의미한지 짚은 글입니다. 결론부터 말하면, 모델에게 자기 응답의 확신도를 숫자로 뽑아내라고 하는 건 지금까지 확인된 바로는 완전히 쓸모가 없다는 겁니다.

출처: Why I Hate LLM Confidence Scores – Justin Flick

모델은 왜 자기 확신을 잴 수 없을까

모델이 생성 과정에서 어떤 내부 상태를 유지한다는 연구는 실제로 있습니다. Anthropic의 해석 가능성 연구는 Claude가 압운을 맞춘 문장을 쓸 때 몇 단어 앞을 미리 계획한다는 걸 보였죠. 활성화값에 주입된 개념을 모델이 알아채고 정확히 보고하는 사례도 확인됐습니다.

다만 연구진 스스로도 이 능력이 매우 불안정하고 맥락에 따라 달라진다고 못박습니다. 실험실 조건에서 뭔가 주입됐다는 걸 알아채는 것과, “이 문단이 맞을 확률이 얼마인지” 정량화하는 건 완전히 다른 차원의 이야기인 것.

여기서 논리적으로 막다른 길이 나옵니다. 모델이 자신의 사고 과정을 들여다보고 그 결과로 확신도를 판단한다고 해봅시다. 그러면 곧바로 다음 질문이 따라오죠. 그 사고 과정이 내놓은 확신도 자체는 또 얼마나 확실한 걸까요. 확신을 확인하려 할수록 확신이 끝없이 이어지는 구조인 것.

토큰 단위로 봐도 문제는 남습니다. 답변을 이루는 단어 하나하나는 저마다 다른 확률값을 갖죠. 어떤 단어는 문법적으로 거의 확실히 등장하는 조사나 접속사고, 어떤 단어는 그 문단 전체를 지탱하는 핵심 사실 주장입니다. 이 서로 다른 확률들을 하나의 숫자로 뭉뚱그리는 건 측정이 아니라, 플릭의 표현을 빌리면 “그냥 느낌”에 가깝네요.

확신도 90%라는 숫자의 정체

실제 연구 결과도 이 회의를 뒷받침합니다. 모델에게 0에서 100 사이 확신도를 매기라고 하면, 실제로는 이 척도를 연속적으로 쓰지 않는다는 조사 결과가 있죠. 여섯 개 모델을 살펴본 한 연구에서는 응답의 78% 이상이 단 세 개의 값에 몰렸고, 어떤 모델은 68%의 경우에 정확히 100이라고만 답했습니다. 세밀한 척도일수록 오히려 더 부정확해진 것.

그렇다면 이 숫자가 실제로 재고 있는 건 뭘까요. 플릭은 실무에서 마주치는 대부분의 사례에서 “확신도”가 사실 “정확성”을 대신 묻는 질문이라고 짚습니다. 문서를 검색해서 답을 만드는 시스템이라면, 사람들이 정말 궁금한 건 “이 답이 검색한 문서에 실제로 근거하고 있는가”거든요. 확신도라는 이름을 붙였을 뿐, 진짜 확인하고 싶은 건 신뢰 여부인 셈이네요.

플릭이 내놓는 결론은 단순합니다. 모델이 자기 답변에 근거 없는 주장이 섞여 있다는 걸 스스로 인지할 정도라면, 그 자리에서 확인하고 고쳐서 내놓아야 한다는 것. 틀렸다는 걸 알면서도 숫자 딱지만 붙여서 내보내는 게 사용자에게 무슨 도움이 되겠냐는 반문입니다.

모델이 정말 알고 있다면 고치면 됩니다. 모르고 있다면 그 확신도 숫자는 애초에 아무것도 측정하지 않은 셈이죠. 결국 확신도 점수는 신뢰성을 실제로 높이기보다, 답변을 읽는 사람에게 심리적 안정감을 주는 장치에 가깝다는 게 이 글의 핵심입니다.

참고자료: Language Models (Mostly) Know What They Know – Anthropic