중간 토큰 생성(Intermediate Token Generation, ITG)은 언어 모델이 최종 답 전에 추가 텍스트를 생성해 복잡한 문제 성능을 높이는 기법이다. ICML 2026 입장 논문은 이를 곧바로 모델의 ‘생각’이나 인간 같은 ‘추론 흔적’으로 부르는 관행을 경계한다. 성능에 도움이 되는 출력 형식과 모델 내부 작동을 같은 것으로 취급하면 해석과 안전 판단이 과장될 수 있기 때문이다.
논문의 핵심 주장
논문은 중간 토큰이 답을 맞히는 데 유용할 수 있다는 사실을 부정하지 않는다. 문제는 그 텍스트가 모델의 충실한 내부 과정, 또는 사람이 따라 검증할 수 있는 사고 과정이라는 뜻으로 받아들여지는 데 있다.
| 구분 | 말할 수 있는 것 | 말할 수 없는 것 |
|---|---|---|
| 성능 | 중간 생성이 특정 과제 정확도를 높일 수 있다 | 출력이 항상 정답의 원인이라는 보장 |
| 설명 | 사용자가 풀이 형식을 읽고 검토할 수 있다 | 모델 내부 계산을 그대로 드러낸다는 증거 |
| 안전 | 위험 신호를 찾는 보조 단서가 될 수 있다 | 안전성·정직성의 완전한 증명 |
실무에서의 해석 원칙
에이전트나 추론 모델을 평가할 때는 중간 텍스트의 그럴듯함보다 결과와 외부 검증을 우선한다.
- 정답·상태 검증을 분리한다. 코드라면 테스트, 업무 자동화라면 최종 데이터 상태와 정책 검사를 둔다.
- 설명을 증거로 과신하지 않는다. 모델이 제시한 풀이와 도구 호출 기록, 원본 자료를 교차 확인한다.
- 평가 지표를 나눈다. 최종 성능, 재현성, 정책 준수, 설명의 유용성을 하나의 ‘추론 품질’ 점수로 합치지 않는다.
이 관점은 chain-of-thought를 숨기라는 지침이 아니라, 출력 텍스트를 사람의 심리 상태와 동일시하지 말자는 방법론적 주의다.
관련 문서
- reasoning-effort-tips-control — 추론 노력과 비용을 조절하는 방법
- ai-agent-evaluation — 도구 사용과 긴 작업을 결과 중심으로 평가하는 기준
- agent-harness — 관찰·검증 루프를 에이전트 환경에 넣는 방법
참고 자료
- Subbarao Kambhampati et al., Position: Stop Anthropomorphizing Intermediate Tokens as Reasoning/Thinking Traces! — arXiv / ICML 2026 (2026-06-09)