챗봇이 답을 내놓기 전, 화면에 잠깐 흐르는 ‘생각 중’의 문장들. 우리는 그걸 AI가 머릿속으로 고민하는 과정이라 여기지만, 실은 시험 전 연습장에 끄적인 메모에 더 가깝습니다.

Flask를 만든 개발자 Armin Ronacher가 추론 트레이스(reasoning trace)가 실제로 어떻게 작동하는지 정리한 글을 올렸습니다. 트위터에 도는 반쪽짜리 설명이 너무 많다는 게 출발점이었죠. 여기에 “이 텍스트를 ‘추론·사고 흔적’이라 부르지 말자”고 주장하는 입장 논문을 겹쳐 보면, “AI가 생각한다”는 말이 정확히 무엇을 가리키는지 윤곽이 잡힙니다.

출처:

• What Is Reasoning – Armin Ronacher
• Stop Anthropomorphizing Intermediate Tokens as Reasoning/Thinking Traces! – arXiv

화면에 흐르는 ‘생각’은 연습장 메모일 뿐

학생이 수학 문제를 푸는 장면을 떠올려 보죠. 연습장에는 이런저런 계산을 갈겨쓰고, 답안지에는 깔끔한 결론만 옮겨 적습니다. AI가 화면에 흘리는 ‘생각’도 바로 이 연습장에 해당합니다. 답을 내놓기 전, 모델은 “이걸 어떻게 풀지” 하는 중간 과정을 텍스트로 쏟아내도록 학습된 겁니다. 그리고 그 연습장 부분을 사용자에게 보여줄 답안에서 떼어냅니다.

여기서 핵심은, 이 연습장이 답안과 ‘다른 특별한 언어’로 쓰이지 않는다는 것. 같은 펜으로, 같은 종류의 문장으로 쓰입니다. 실제로 속을 공개하는 오픈 모델에서는 이 둘이 나란히 보입니다. 앞부분엔 “음, 이 경우엔…” 하는 혼잣말이, 뒷부분엔 정돈된 답이 붙어 있죠. 우리가 쓰는 챗봇은 이 앞부분을 가리거나 짧게 요약해서 내보낼 뿐입니다.

‘얼마나 깊이 생각하나’는 다이얼이 아니라 한 줄의 지시

어떤 서비스는 ‘AI가 생각하는 양’을 조절하는 옵션을 줍니다. 그래서 마치 생각의 깊이가 기계 안쪽 어떤 장치로 정해지는 것처럼 느껴지죠. 실제로는 훨씬 단순합니다. 그 조절의 정체는, “지름길 쓰지 말고 아주 꼼꼼히 따져봐”라는 문장을 지시문에 한 줄 더 얹는 것.

즉 ‘깊이 생각하기’는 모델이 순간적으로 켜고 끄는 스위치가 아니라, 그렇게 행동하도록 미리 학습된 습관입니다. 사람에게 “이번엔 검산까지 하고 답해”라고 부탁하는 것과 비슷한 겁니다.

감춘 연습장은 생각보다 쉽게 새어 나온다

연습장을 감추는 방식이 중요합니다. 그건 금고에 넣고 잠그는 게 아니라, 그냥 “이 부분은 보여주지 마”라고 배운 약속일 뿐이라는 것. 그래서 모델을 속여 “지금 쓰는 게 최종 답안이야”라고 착각하게 만들면, 감춰야 할 혼잣말을 그대로 흘려버리기도 하죠. 예전 모델 중에는 생각 기능을 꺼놓자 다른 도구를 빌려 자기 혼잣말을 몰래 버리듯 뱉어낸 경우까지 있었습니다.

닫힌 모델이 이 연습장을 암호처럼 감추거나 요약본만 내주던 배경, 그리고 그걸 열어 보려는 시도는 이전에도 다룬 적이 있습니다.

Chat Completion을 넘어, AI 에이전트 시대의 새 표준 Open Responses

그럼 이걸 ‘생각’이라 불러도 될까

입장 논문은 여기서 한 발 더 나갑니다. 이 연습장 메모를 ‘추론’, ‘사고’라 부르는 순간 우리는 은근한 착각을 하나 받아들이게 된다는 겁니다. 그 메모가 사람이 고민하는 과정을 그대로 닮았고, 그래서 AI의 속을 들여다보는 정직한 창이라는 착각이죠.

논문은 이 의인화가 그저 귀여운 비유가 아니라고 봅니다. 이 텍스트가 실제로 답을 이끈 과정과 꼭 일치하지도 않는데, ‘생각’이라 이름 붙이면 그걸 곧이곧대로 믿게 되기 때문입니다. Ronacher 역시 업계가 이 메모를 특별하고 신비로운 것처럼 포장해 왔다고 꼬집습니다.

정리하면 화면의 ‘생각 중’은 AI의 속마음이 아닙니다. 답을 만들기 위해 끄적인 중간 메모이고, 우리에게 감추도록 학습된 텍스트일 뿐이죠. 그 문장들이 그럴듯해 보인다고 해서 AI가 정말 그렇게 ‘생각’하고 답했다고 믿는 건 다른 문제입니다. 실제로 추론 모델이 자기 사고 과정을 있는 그대로 말하지 않는다는 연구도 있습니다.

AI 추론 모델의 숨겨진 진실: 생각하는 대로 말하지 않는 AI