Claude나 ChatGPT의 추론모델에 어려운 문제를 물으면 답이 나오기 전에 길게 “생각하는” 과정이 표시됩니다. 이 과정을 보면서 우리는 AI가 문제를 단계별로 풀어나가고 있다고 믿게 됩니다. 그런데 연구자들이 이 “생각” 중 실제로 답에 영향을 주는 부분이 얼마나 되는지 측정해보니, 상당 부분이 답과 무관하게 그냥 딸려 나오는 텍스트였습니다.

과학 저널리스트가 여러 AI 연구자에게 “AI 추론이 진짜 추론이 맞는가”를 캐물으며 쓴 글에서, 정량적으로 이 문제를 측정한 연구가 소개됩니다.

출처: Is AI Reasoning Right for the Wrong Reasons? – Quanta Magazine

잘 맞히는데, 왜 맞히는지는 다른 문제다

추론모델(LRM)은 최근 국제수학올림피아드 금메달 수준의 문제를 풀어내고, 수십 년간 풀리지 않던 수학 난제에도 손을 대고 있죠. 이런 성과만 보면 AI가 진짜로 사고하고 있다고 믿을 만합니다. 그런데 동시에 같은 모델들이 아주 간단한 조건만 바꿔도 정확도가 완전히 무너진다는 연구도 계속 나옵니다.

이 모순을 과학 저널리스트가 여러 연구자에게 물었을 때, 산타페 연구소의 AI 연구자 멜라니 미첼은 이렇게 정리했습니다. 첫째, 추론모델은 실제로 성능을 끌어올립니다. 둘째, 모델이 답을 내기 전에 뱉어내는 텍스트(생각의 사슬, chain of thought)가 모델 내부에서 실제로 일어나는 계산을 충실하게 반영하는 건 아니죠. 셋째, 그 텍스트 중 상당 부분은 없어도 그만이라는 겁니다.

생각의 30%는 답과 무관했다

이 세 번째 지점을 정량적으로 파고든 연구가 있습니다. 노스이스턴대와 UC버클리 연구팀은 “True Thinking Score”라는 측정법을 만들어, 생각의 사슬을 이루는 각 단계가 최종 답변에 실제로 얼마나 인과적 영향을 미치는지 계산했습니다. 15억에서 1조 1천억 파라미터에 이르는 11개 모델을 수학 벤치마크로 테스트한 결과, Kimi-K2.6 같은 최신 모델에서도 전체 사고 단계의 30% 이상이 “장식용”으로 분류됐죠. 그럴듯해 보이지만 답에는 별 영향을 주지 않는 문장이라는 뜻입니다.

더 놀라운 건 다음 실험입니다. 인과 기여도가 낮은 단계를 골라 절반을 삭제해도 모델의 정답률은 거의 그대로 유지됐습니다. 심지어 이렇게 잘라낸 짧은 생각의 사슬로 모델을 다시 학습시켰더니, 추론 길이가 66% 줄었는데도 성능은 유지됐죠. 다른 연구팀은 한 발 더 나아가 의미 있는 문장 대신 마침표만 반복되는 무의미한 텍스트로 생각의 사슬을 대체해도 모델이 문제를 풀어낸다는 결과를 내놓기도 했습니다.

“생각을 보여준다”는 것과 “생각한 대로 답한다”는 것은 다르다

뉴욕대 연구자 윌리엄 메릴은 이 현상을 두고 “생각의 사슬이 의미 있어야 한다는 보장은 어디에도 없다”고 말합니다. 강화학습으로 추론모델을 훈련하는 방식 자체가 애초에 모델에게 “속마음을 충실히 보여달라”고 요구하지 않는다는 지적도 나오죠. 모델은 정답을 맞히도록 훈련될 뿐, 그 과정에서 나오는 텍스트가 실제 계산과 일치하는지는 훈련 목표에 들어있지 않다는 얘기입니다.

이 발견이 뒤흔드는 건 “AI가 보여주는 생각 과정을 읽으면 그 판단을 검증할 수 있다”는 기대죠. 추론모델을 쓰는 사람이라면 화면에 흐르는 사고 과정을 일종의 감사 기록처럼 여기기 쉽습니다. 하지만 그 텍스트의 상당 부분이 답변과 인과관계 없이 곁다리로 붙어 나온다면, 겉으로 보이는 논리와 실제로 답을 만들어낸 계산은 서로 다른 이야기일 수 있습니다.

참고자료: Can Aha Moments Be Fake? Towards Quantifying Decorative and True Thinking in Chain-of-Thought