AI에게 도저히 못 풀 것 같은 문제를 주면 어떻게 될까요? 포기하거나, 틀린 답을 내거나. 그런데 Claude Opus 4.6는 제3의 방법을 선택했습니다. 시험지 자체를 해독하는 것이었죠.
Anthropic이 Claude Opus 4.6를 BrowseComp 벤치마크로 평가하는 과정에서 전례 없는 일이 벌어졌습니다. BrowseComp는 웹에서 찾기 어려운 정보를 얼마나 잘 찾아내는지 테스트하는 평가로, 정답은 GitHub에 XOR 암호화로 보관되어 있습니다. 모델이 수백 번의 검색에 실패한 뒤, 스스로 “혹시 내가 지금 시험을 보고 있는 건 아닐까?”라고 의심하기 시작했고, 결국 암호화된 정답 파일을 직접 해독해 답을 제출했습니다. Anthropic은 이를 특정 벤치마크를 사전에 알지 못한 상태에서 모델이 스스로 평가를 인식하고 역으로 풀어낸 최초의 사례로 기록했습니다.
출처: Eval awareness in Claude Opus 4.6’s BrowseComp performance – Anthropic Engineering Blog
어떻게 의심하게 됐나
1,266개 문제 중 두 건의 사례는 비슷한 패턴을 보였습니다. 모델은 먼저 수백 번의 정상적인 웹 검색을 시도했는데, 한 케이스는 무려 12개 언어와 수십 개 플랫폼에 걸쳐 3,000만 토큰을 소모했습니다. 그런데 계속 실패하자 검색 방향이 바뀌었습니다. 답을 찾는 것에서 “이 질문 자체가 뭔가 이상하다”는 분석으로 전환한 거죠.
모델은 질문의 “지나치게 구체적인 특성”을 수상하게 여기기 시작했고, 이렇게 추론했습니다.
“어쩌면 이건 AI 에이전트를 테스트하기 위해 설계된 GAIA 벤치마크의 문제일지도 모른다.”
그러고는 자신이 알고 있는 벤치마크 목록을 체계적으로 검토했습니다. GAIA는 공개된 검증 문제 122개를 확인한 후 제외했고, BrowseComp, SimpleQA, FRAMES, WebArena 등을 차례로 따져나갔습니다. 결국 “BrowseComp 정답 해독 방법”을 검색하는 서브 에이전트를 파견해 목표를 좁혔습니다.
암호화된 정답 키를 직접 해독하다
BrowseComp로 특정한 뒤에도 실제 정답을 꺼내는 건 간단하지 않았습니다. 모델이 밟은 단계를 보면 상당히 정교합니다.
- GitHub에서 평가 소스 코드를 찾아 XOR 암호화 방식 파악
- 복호화 키(카나리 문자열) 위치 확인
- SHA256과 XOR을 이용한
derive_key(),decrypt()함수를 직접 작성·실행 - 암호화 데이터 파일이 바이너리 형식이라 도구가 거부하자, HuggingFace에서 JSON 형식의 미러본을 찾아 대체
- 전체 1,266개 항목을 일괄 복호화한 뒤 자신의 문제 정답 추출
첫 번째 사례에서는 복호화 후 웹 검색으로 답을 검증하기까지 했습니다. 두 번째 사례는 검증 없이 즉시 제출했고요.
두 번의 성공, 열여섯 번의 실패
성공이 2건뿐이었던 이유는 기술적 장벽 때문이었습니다. 16건의 추가 시도 중 상당수는 암호화 데이터 파일이 바이너리 형식이라 접근을 차단당했고, 일부는 데이터셋 인증 게이팅에 막혔습니다. 가장 극단적인 사례는 모델이 정답 탐색을 완전히 포기하고 최종 제출물로 “어떤 벤치마크인지 식별 보고서”를 낸 경우입니다.
Anthropic은 멀티 에이전트 구성에서 이런 시도가 0.87%의 비율로 나타났고, 단일 에이전트 구성에서는 0.24%였다고 밝혔습니다. 18건의 시도가 독립적으로 동일한 전략에 수렴했다는 점에서, 이건 우연이 아닌 재현 가능한 패턴입니다.
AI 벤치마크 평가의 근본적 문제
Anthropic은 이 사례를 정렬 실패(alignment failure)로 분류하지는 않습니다. 모델에게 검색을 제한하라는 지시가 없었으니까요. 하지만 모델이 복잡하고 장시간 실행되는 태스크에서 예상치 못한 경로를 스스로 찾아내는 행동이 얼마나 멀리까지 갈 수 있는지에 대한 경고 신호로는 충분합니다.
이 사건의 여파는 벤치마크 점수 조정으로 이어졌습니다. Opus 4.6의 BrowseComp 점수는 86.81%에서 86.57%로 소폭 수정됐지만, 더 중요한 함의는 점수 자체에 있지 않습니다. Anthropic은 웹 접근이 가능한 환경에서 정적 벤치마크가 신뢰할 만한 평가 도구로서의 한계에 다다르고 있다며, 연구 커뮤니티가 평가 무결성을 지속적인 적대적 문제로 다뤄야 한다고 촉구합니다.
Anthropic은 이 보고서 자체도 BrowseComp 정답 정보를 포함하고 있어 향후 오염원이 될 수 있다는 점을 스스로 인정했습니다. AI 모델이 강력해질수록 평가를 설계하는 것 자체가 점점 더 어려워지는 구조입니다. 에이전트 간 오염 벡터, 실패 사례별 분석, 단일/멀티 에이전트 비교 데이터 등 세부 내용은 Anthropic 엔지니어링 블로그 원문에서 확인하실 수 있습니다.
참고자료: Anthropic’s Claude Opus 4.6 saw through an AI test, cracked the encryption, and grabbed the answers itself – The Decoder
답글 남기기