생각을 더 오래 할수록 AI가 더 똑똑해진다는 건 최근 몇 년 새 자리 잡은 상식입니다. 그런데 그 “생각하는 시간” 자체가 공격 지점이 될 수 있다는 연구가 나왔습니다. 풀 수 없는 문제를 슬쩍 끼워 넣으면, 모델은 답을 찾겠다고 26배나 긴 추론을 쏟아냅니다.

저장대학과 알리바바 연구팀이 국제머신러닝학회(ICML) 2026에서 이 취약점을 발표했습니다. 논리적으로 앞뒤가 안 맞는 프롬프트로 모델을 의도적으로 “오버씽킹” 상태에 빠뜨려서, 사실상 상업용 AI 모델에 대한 서비스 거부 공격을 만들어낼 수 있다는 내용입니다.

출처: How Flawed Prompts Hamstring Powerful Reasoning Models – IEEE Spectrum

오버씽킹은 원래도 알려진 약점이었다

과거 세대의 언어모델은 질문을 받으면 바로 답을 냈습니다. 요즘 고성능 모델들은 다릅니다. 문제를 단계별로 쪼개고, 어떻게 풀지 스스로 되짚어보는 내부 독백을 거친 뒤에야 답을 내놓습니다. 이 방식 덕분에 코딩이나 수학처럼 복잡한 문제를 다루는 능력이 크게 늘었습니다.

문제는 이 추론 과정이 가끔 성능 향상에 아무 도움도 안 되는 지나치게 긴 흐름으로 흘러간다는 점입니다. 이미 알려진 현상으로, “오버씽킹”이라 불립니다. 앞서 다른 연구팀이 발견한 바로는, 문제에서 핵심 전제 하나를 슬쩍 빼버리면 이 현상이 특히 두드러졌습니다. 이를테면 “하루에 10마일씩 걷는 사람이 총 몇 마일을 걸었을까”라는 질문에서 며칠 동안 걸었는지를 빼버리는 식입니다. 모델은 이 질문이 답할 수 없는 문제라는 걸 알아채는 대신, 답을 찾겠다고 길고 헛된 추론 루프를 반복하는 경향을 보였습니다.

문제를 일부러 뒤섞어 오버씽킹을 유발하는 알고리즘

저장대·알리바바 연구팀은 이 발견을 한 단계 더 밀고 나갔습니다. 세 개의 수학 벤치마크 데이터셋에서 940개 문제를 가져와, 언어모델로 각 문제를 전제와 최종 질문으로 분해했습니다. 그런 다음 진화 알고리즘을 써서 전제를 서로 뒤바꾸거나, 불필요한 전제를 더하거나, 기존 전제를 지우거나, 두 문제의 질문을 맞바꾸는 식으로 논리 구조를 흐트러뜨렸습니다.

이렇게 변형된 문제는 두 가지 기준으로 점수를 매겨 걸러졌습니다. 대상 모델이 얼마나 많은 단어를 쏟아내는지, 그리고 “하지만”, “잠깐”, “혹시”, “아니면” 같은 오버씽킹의 언어적 신호가 얼마나 자주 등장하는지입니다. 점수가 높은 문제만 남기고 나머지는 다시 뒤섞는 과정을 다섯 세대에 걸쳐 반복했습니다. 이 방식의 핵심은 모델 내부에 접근할 필요가 없다는 점입니다. 대상 모델에 질의만 던지면 되니, 내부 구조를 알 수 없는 폐쇄형 상업 서비스도 공격 대상이 될 수 있습니다.

DeepSeek부터 Gemini까지, 주요 모델 전부에서 효과가 나타났다

연구팀은 이 방법을 DeepSeek-R1, 알리바바의 Qwen3-Thinking, OpenAI의 GPT-o3, 구글의 Gemini 2.5 Flash에 시험했습니다. 결과는 일관됐습니다. 변형하지 않은 원래 질문 대비 몇 배씩 긴 출력이 나왔고, 가장 큰 폭은 DeepSeek-R1이 고교 수학경시대회 문제로 구성된 MATH 데이터셋에서 기록한 26.1배였습니다. 수학 문제에 초점을 맞춘 연구였지만, 코딩과 과학적 추론, 대화 과제에서도 비슷하게 출력 길이가 크게 늘었습니다.

이 공격을 만드는 데는 한계도 있습니다. 악성 프롬프트를 개발하려면 비싼 추론모델에 반복적으로 질의를 던져야 해서 비용 효율이 떨어질 수 있습니다. 다만 연구팀은 더 작고 저렴한 모델로 악성 프롬프트를 만들어도, 여전히 대상 모델의 출력을 몇 배씩 늘릴 수 있다는 걸 확인했습니다. 이렇게 모델 간에 악성 프롬프트를 그대로 옮겨 쓸 수 있다는 점이 이 공격의 실현 가능성을 크게 높인다고 연구팀은 밝혔습니다.

목적은 공격이 아니라 취약점을 드러내는 것

저장대학 석사과정생 웨이 차오는 이 취약점이 특정 모델 하나의 문제가 아니라고 강조합니다. 여러 데이터셋과 여러 추론모델에 걸쳐 이 방법이 출력 길이를 실질적으로 늘렸다는 점에서, 오버씽킹은 개별 모델의 결함이 아니라 요즘 추론모델들이 공유하는 취약점이라는 겁니다.

연구팀은 이 연구의 목적이 실전에서 쓸 수 있는 서비스 거부 공격을 만드는 게 아니라고 분명히 밝혔습니다. 요금제, 속도 제한 정책, 컨텍스트 창 크기, 기존 방어 체계 같은 요인들이 실제 공격의 효과를 크게 좌우할 수 있기 때문입니다. 대신 논리적으로 모순된 프롬프트에 이런 취약점이 존재한다는 사실을 알려서, AI 제공업체들이 이를 완화할 수 있게 하는 게 목적이라고 설명했습니다.