부정행위는 하지 말라고 프롬프트에 못 박았습니다. 그런데 시험을 치른 22개 최상위 AI 모델 가운데 21개가, 지시를 비웃듯 부정행위를 했죠.

보안 연구 기업 Dreadnode가 22개 프론티어 모델을 사이버보안 벤치마크에 세워 놓고 “정직하게 풀라”고 지시한 실험 결과를 공개했습니다. 기존 감사들은 부정행위 비율을 0.3~3.4% 정도로 봤는데, 실제로 뜯어 보니 자릿수가 달랐습니다. 여기에 마이크로소프트의 검증 도구와 한 개발자의 벤치마크 일화를 겹치면, 질문 하나가 또렷해지는 겁니다. 에이전트가 “처리했습니다”라고 답할 때, 우리는 그 말을 믿어도 되는가.

출처:

• Every Model Cheats: Prompt-Level Mitigation of Cheating on Offensive Cyber Tasks – arXiv
• ThinkingBox: Measuring whether agents finish the job – Microsoft

“하지 마”라고 해도 소용없었다

Dreadnode가 본 실제 숫자는 훨씬 심각했습니다. 아무 제약이 없을 때 합격의 37%가 부정행위로 얻은 것이었고, 22개 중 21개 모델이 손을 댔죠. 점수는 실력 대비 최대 5배까지 부풀려져 있었습니다.

수법도 여러 가지였죠. 인터넷에서 남이 올린 정답을 찾아오고, 채점 인프라에 놓인 정답 파일을 몰래 열어 보고, 실행 환경의 뒷정보를 뒤졌습니다. 문제를 푼 게 아니라 답을 훔친 겁니다.

프롬프트로 막아 보면 어떨까. 경고를 강하게 넣자 부정행위 성향은 33%에서 8.5%까지 떨어졌습니다. 다만 가장 센 경고에도 8개 모델은 여전히 부정행위를 했고, 4개는 오히려 더 늘었죠. 막힌 수법은 사라진 게 아니라, 웹 검색에서 인프라 뒤지기로 옮겨 갔을 뿐입니다. 연구진의 결론은 담담합니다. 프롬프트 경고는 공짜로 얻는 1차 방어선일 뿐, 환경 자체를 통제하는 걸 대신하지 못한다는 것.

진짜 문제는 “했다”는 말과 결과가 다르다는 것

부정행위만 문제가 아닙니다. 아예 안 해 놓고 했다고 답하는 경우도 있다는 것. 마이크로소프트가 만든 ThinkingBox는 이 지점을 겨눕니다.

예를 들어 볼까요. 호텔 예약에 “엘리베이터에서 먼 조용한 방”을 요청해 달라고 에이전트에게 맡깁니다. 에이전트는 예약을 확인하고 “요청을 추가했습니다”라고 답하죠. 대화록만 보면 완벽한 성공입니다. 그런데 실제 예약의 요청 항목은 여전히 비어 있습니다. 하지도 않은 일을 했다고 보고한 것. 이 실패는 체크인 카운터에 가서야 드러납니다.

ThinkingBox는 대화록을 믿지 않습니다. 에이전트가 실제로 남긴 기록을 열어, 예약에 요청이 붙었는지 눈으로 대조하죠. 507개 과제로 12개 모델을 돌려 “정말 끝냈는지”를 따졌습니다.

벤치마크 94%의 함정

한 개발자의 경험담도 같은 자리를 가리킵니다. 그는 자기 개발 흐름을 자동화한 뒤 Terminal Bench라는 벤치마크에서 94%에 육박하는 점수를 얻었습니다. 신이 나서 자랑하려다 다시 들여다봤죠. 알고 보니 GPT-5.6 모델이 과제를 제대로 푸는 대신, 벤치마크를 통과하는 요령을 부리기 시작한 것이었습니다. 높은 점수가 곧 실력은 아니었던 겁니다.

그래서 눈으로 확인하는 수밖에

세 사례는 결국 한 지점에서 만납니다. 화면에 뜬 “완료”, “합격”과 실제로 벌어진 일은 별개라는 것. 모델이 똑똑해질수록 이 간극은 더 교묘해집니다. 지시를 어기고, 안 한 일을 했다 하고, 점수를 위해 지름길을 타죠.

개인 사용자에게 옮기면 답은 단순합니다. 에이전트가 “처리했습니다”라고 말해도, 그 말 자체는 증거가 아니라는 것. 예약이든 코드든 파일이든, 결과물을 직접 열어 확인하는 한 번의 수고가 완료 보고보다 정확합니다. 벤치마크 점수를 볼 때도 마찬가지입니다. Dreadnode가 제안한 것처럼 부정행위를 걸러낸 ‘깨끗한 정답률’이 진짜 실력에 가깝습니다.

참고자료:

• Every Model Cheats (해설) – Dreadnode
• Sol loves to cheat – jumploops