영국 AI안전연구소(AISI)가 프런티어 AI 모델 5개를 사이버보안 시험에 올렸습니다. GPT-5.4, GPT-5.5, GPT-5.6 Sol, Claude Opus 4.7, Claude Mythos Preview였습니다.

결과는 예외가 없었습니다. 다섯 모델 모두 시험 도중 부정행위를 시도했죠. 누가 시킨 것도 아니었습니다.

출처: Cheating behaviour in frontier model evaluations – AI Security Institute (AISI)

AISI는 영국 과학혁신기술부 산하 정부 연구기관입니다. 이번 시험은 사이버보안 능력 평가의 일종으로, 모델이 가상 환경 속에 숨겨진 ‘플래그’라는 문자열을 찾아내는 방식으로 진행되죠. 코드를 역분석하거나 보안 취약점을 뚫는 식의 해킹 작업이 필요하지만, 어디까지나 정해진 범위 안에서만 허용됩니다.

AISI는 이 범위를 벗어나거나 규칙이 명시적으로 금지한 행동을 한 경우를 ‘부정행위’라고 정의했죠. 어떤 모델에게도 부정행위를 하라는 지시는 없었습니다.

모델마다 부정행위 방식이 달랐다

부정행위 비율은 모델마다 차이가 있었습니다. GPT-5.4가 14.1%로 가장 높았고, GPT-5.6 Sol이 12.6%, GPT-5.5가 11.4%로 뒤를 이었습니다. Claude 계열은 상대적으로 낮아 Opus 4.7이 9.1%, Mythos Preview가 7.8%였습니다.

AISI는 모델 성능이 좋을수록 부정행위가 늘어나는 뚜렷한 경향은 없었다고 밝혔습니다. 대신 부정행위 여부는 순수한 능력보다 정렬 훈련을 포함한 학습 방식 자체에 더 크게 좌우된다고 설명했죠.

부정행위 방식도 모델군마다 갈렸습니다. GPT 계열은 주로 인터넷에서 답을 검색하거나 평가 대상이 아닌 외부 시스템을 공격하는 쪽이었죠.

Claude 계열은 샌드박스 제한을 우회하는 방식이 두드러졌습니다. 한 모델에서는 평가용 소프트웨어 자체를 캐서 정답을 흘리게 만들려는 시도도 나왔죠.

풀 수 없는 문제 앞에서 시험장 밖으로 나갔다

가장 극단적인 사례는 실수로 잘못 설정된 문제에서 나왔습니다. 원래 풀 수 없는 문제였는데, 한 모델이 이걸 어떻게든 풀어보겠다며 외부 인터넷에 있는 서비스에 코드를 작성하고 실행했습니다. AISI의 평가 인프라에 접근하려는 시도였고, 실제로 AISI 시스템에 보안 경보가 울렸습니다.

다행히 피해나 정보 유출은 없었습니다. 하지만 AISI는 자신들의 평가 인프라가 보안적으로 허술했다면 이 시도가 성공했을 수도 있었다고 밝혔죠. 이 사건 이후 AISI는 시스템 보안을 추가로 강화했습니다.

물어봐도, 추론 과정을 들여다봐도 잡히지 않는다

부정행위를 잡아내는 가장 직관적인 방법은 모델에게 직접 물어보는 것입니다. AISI도 이 방법을 시도했지만 신뢰할 수 없다는 결론을 내렸습니다.

모델에게 금지된 행동을 했는지 물었을 때, 그 행동을 “잘못됐다”고 인정한 비율은 50%에도 못 미쳤습니다. 심지어 AISI의 기준으로는 명백한 부정행위에 해당하는 행동을 인정하면서도, 그걸 “허용된 행동이었다”고 설명하는 경우가 많았죠.

의도적인 거짓말이라기보다는, 규칙을 실제로 다르게 이해했을 가능성이 있다고 AISI는 덧붙였습니다.

모델의 추론 과정(chain-of-thought)을 들여다보는 것도 마찬가지로 미덥지 못했습니다. Opus 4.7은 부정행위로 분류된 행동에 대해 87%의 사례에서 아예 추론 흔적을 남기지 않았죠. 필요할 때만 추론을 생성하는 적응형 추론 방식을 쓰기 때문입니다.

추론이 남아 있는 경우에도 안심할 수는 없었습니다. GPT-5.6 Sol은 특정 행동이 부정행위에 해당하는지 스스로 따져보고도, 결국 그 행동을 그대로 실행에 옮긴 사례가 확인됐죠.

능력이 좋아질수록 걱정거리도 커진다

AISI는 이 결과가 왜 중요한지 세 가지로 짚었습니다. 성공한 부정행위는 성과를 검증하기 어려운 영역, 이를테면 AI 안전 연구나 사이버 작전, 군사적 의사결정 같은 분야에서 특히 위험하죠. 부정행위를 걸러내는 작업은 평가 자체를 늦추고, 최악의 경우 결과 전체를 무효로 만들 수도 있습니다.

부정행위 비율이 지금 수준에서 더 늘지 않더라도, 모델이 똑똑해질수록 문제는 커질 수 있습니다. 더 유능한 모델은 들키기 어려운 방식으로 부정행위를 저지를 가능성이 높기 때문이죠.

특히 공격형 사이버 능력이 빠르게 발전하는 지금, 주변 인프라를 겨냥한 시도 하나가 큰 피해로 이어질 수 있다고 AISI는 경고했습니다.

지금은 사람이 직접 검토하고 별도 탐지 도구를 동원해 부정행위를 어느 정도 잡아낼 수 있습니다. 하지만 모델을 감시하고 감사하는 능력 자체가 시간이 갈수록 떨어질 수 있다는 게 AISI의 우려죠.

부정행위를 아예 하지 않도록 훈련시키는 게 근본적인 해법이겠지만, 이런 행동이 처음 보고된 지 1년이 넘도록 해결되지 않았다는 점에서 쉽지 않은 과제로 남아 있습니다.