AI가 사실을 틀리게 답할 때, 우리는 보통 ‘그건 안 배웠나 보다’ 하고 넘깁니다. 그런데 Google 연구를 보면, 대부분의 경우 모델은 그 답을 이미 알고 있었죠.

Google Research가 13개 대형 언어모델을 2,150개의 사실로 시험했습니다. GPT-5나 Gemini-3 같은 프런티어 모델은 사실의 95~98%를 신경망 가중치에 저장하고 있었죠. 그런데도 그중 26~34%는 막상 물었을 때 제대로 꺼내지 못했습니다. 병목은 저장이 아니라 검색이었던 겁니다.

출처: Empty Shelves or Lost Keys? Recall Is the Bottleneck for Parametric Factuality – Google Research

빈 선반이 아니라, 잃어버린 열쇠

지금까지의 통념은 ‘빈 선반’ 쪽이었습니다. 모델이 학습 때 그 정보를 아예 담지 못했다는 거죠. 이번 연구가 가리키는 원인은 다릅니다. 선반은 가득 차 있는데, 그걸 여는 열쇠를 잃어버린 상태에 가깝습니다.

연구진은 두 가지를 구분합니다. 하나는 인코딩, 학습 중에 사실이 가중치에 새겨지는 과정이죠. 다른 하나는 회상, 필요할 때 그 사실을 찾아 꺼내는 능력입니다. 프런티어 모델에서 인코딩은 거의 포화 상태인데, 회상은 그렇지 못했습니다.

실제로 회상 실패는 GPT-5.2가 낸 오류의 70% 이상을 차지했습니다. 모델이 더 강해질수록 이 비중은 오히려 커졌고요. ‘아는 게 부족해서’가 아니라 ‘아는 걸 못 꺼내서’ 틀린다는 뜻입니다.

질문 순서가 답을 바꾼다

더 흥미로운 발견은 질문을 던지는 방향입니다. 사실은 학습한 텍스트에 등장한 순서대로 새겨집니다. 먼저 나온 쪽이 주어, 뒤에 나온 쪽이 목적어죠.

예를 들어볼까요. ‘오아시스는 보드워크 클럽에서 첫 공연을 했다’는 문장에서 주어는 오아시스, 목적어는 보드워크 클럽입니다. ‘오아시스가 어디서 처음 공연했나’처럼 목적어를 묻는 직접 질문에는 모델이 잘 답하죠. 반대로 ‘보드워크 클럽에서 처음 공연한 밴드는’처럼 주어를 되짚는 역방향 질문에서는 회상이 흔들립니다. 답을 못 찾으면 평소 자주 본 유명한 이름으로 때워버리고요.

결정적인 단서가 있습니다. 같은 역방향 질문을 객관식 보기와 함께 주면, 모델은 정답을 곧잘 골라냅니다. 답이 안에 저장돼 있다는 증거죠. 열려 있는 질문에서 그 답으로 가는 길이 약할 뿐입니다. 질문을 다르게 바꿔 말하는 건 별 영향이 없었고, 오직 주어·목적어 순서를 뒤집는 것만 회상을 어렵게 했습니다.

못 꺼내면, 지어낸다

회상이 실패해도 모델은 ‘모르겠다’고 물러서지 않습니다. 통계적으로 그럴듯한 단어로 빈칸을 메우죠. 없는 가격을 만들어내거나, 어떤 기능을 엉뚱한 경쟁사에 붙이는 식입니다. 사용자 입장에선 자신 있게 틀린 답을 받는 셈이고요.

그나마 방법은 있습니다. 답하기 전에 차근차근 짚어보게 하는 이른바 ‘사고(thinking)’ 모드를 켜면, 직접 회상으로는 못 꺼내던 사실의 40~65%를 되살렸습니다. 다만 애초에 학습되지 않은 사실은 5~15%밖에 살리지 못했고, 계산 비용도 더 들죠. 모델 크기를 키우는 것만으로는 이 문제가 풀리지 않는다는 점도 연구진은 분명히 했습니다.

AI의 오답을 다시 보는 법

이 연구는 AI의 사실 오류를 보는 눈을 바꿉니다. 틀린 답이 나왔다고 ‘이 모델은 이걸 모른다’고 단정하기 어려워진 거죠. 알면서 못 꺼낸 것일 수 있으니까요.

실용적인 함의도 있습니다. 원하는 정보가 학습됐을 법한 방향으로 질문을 맞춰주면 회상이 쉬워집니다. 답이 애매할 땐 곧장 결론을 묻기보다 생각할 여지를 주는 편이 낫고요. 무엇보다, AI가 자신 있게 내놓는 사실일수록 한 번 더 확인할 이유가 생깁니다. 모른다는 신호 없이 지어낸 답이 섞여 있을 수 있으니까요.

참고자료:

• AI Models Encode Brand Data but Fail to Recall a Third of It – DEJAN
• Google: Subject/Object Entity Order Affects AI Answers – Search Engine Journal