HAWK는 미국 국립표준기술연구소(NIST)가 양자컴퓨터 시대에도 안전한 디지털 서명 방식을 찾기 위해 공모한 3라운드 후보 중 하나입니다. 2년에 걸친 전문가들의 검증을 통과하며 살아남은 알고리즘이었죠. Anthropic의 실험용 모델 Claude Mythos Preview는 이 알고리즘을 60시간 만에 붙잡고, 알려진 최선의 공격법을 개선해 키 강도를 사실상 절반으로 낮췄습니다.

출처: Discovering cryptographic weaknesses with Claude – Anthropic

Anthropic이 발표한 이 연구는 Claude Mythos Preview를 이용해 암호 알고리즘 두 개에서 새로운 수학적 결함을 찾아낸 과정을 담았습니다. 하나는 앞서 말한 HAWK 서명 방식이고, 다른 하나는 전 세계에서 가장 널리 쓰이는 대칭키 암호 AES의 축소판입니다. 두 결과 모두 지금 당장 인터넷 보안에 영향을 주지는 않는다는군요. 다만 지금까지 AI가 찾아온 취약점과는 결이 다릅니다.

지금까지의 취약점과는 다른 종류

Anthropic은 이전에도 Claude Mythos Preview가 거의 모든 소프트웨어에서 취약점을 자율적으로 찾아내는 모습을 보여준 적이 있습니다. 암호화 라이브러리도 예외는 아니었습니다. 다만 그때 찾은 결함은 알고리즘 자체의 문제가 아니라, 프로그래머가 알고리즘을 코드로 옮기는 과정에서 생긴 구현 실수였다는 공통점이 있습니다.

이번엔 다릅니다. Claude가 찾아낸 건 구현 오류가 아니라 알고리즘 자체의 수학적 허점이라는 것이 핵심입니다. 암호 알고리즘은 인터넷 보안의 가장 밑바닥을 이룹니다. 웹사이트에 접속할 때 브라우저가 상대의 진위를 확인하는 디지털 서명 방식이 있고, 이후 오가는 데이터를 암호화하는 대칭키 암호가 있죠. 이 두 축 중 하나에서라도 결함이 발견되면 이메일과 온라인 뱅킹을 포함한 전 세계 인터넷 사용이 흔들릴 수 있습니다.

60시간, 그리고 사람의 역할

HAWK 공격은 Anthropic 연구자 한 명이 Claude와 일주일간 함께 작업하며 개발한 결과물입니다. AES 쪽은 조금 다른 방식으로 진행됐습니다. 다른 연구자가 스캐폴드(자율 작업 환경)를 구축해두었고, Claude는 그 안에서 거의 전적으로 혼자 공격법을 찾아냈습니다. 축소판 AES 공격에서는 공격자가 추측해야 할 값 하나를 제거하는 방법을 찾아내, 기존 최선의 공격보다 200~800배 빠른 방법을 만들어냈습니다.

완전 자동으로 이뤄진 일은 아니었다는 점이 흥미롭습니다. Simon Willison이 공개한 프롬프트 기록을 보면, 연구자는 모델이 “이건 풀 수 없다”며 포기하려 할 때마다 계속 다그쳤습니다. “다시 해봐, 우리가 원하는 건 발표할 가치가 있는 새로운 공격이야”, “쉬운 것 말고 진짜 어려운 문제를 풀어야 해” 같은 독려가 반복됐다고 합니다. 두 결과 각각에는 약 10만 달러의 API 비용이 들었습니다. 사람이 방향을 잡고 포기하지 않도록 밀어붙이는 역할을 맡고, 실제 탐색과 계산은 모델이 떠안는 구조였던 셈이죠.

지금 당장 바뀌는 건 없지만

HAWK는 아직 표준으로 채택되지 않은 후보 단계이고, 이번에 뚫린 AES도 실제 사용되는 완전판이 아니라 라운드를 줄인 축소판입니다. Anthropic도 두 결과 모두 현재 운영 중인 시스템에는 영향이 없다고 못 박았습니다. HAWK 개발팀에는 6월에 미리 공격법을 공유했고, NIST 공개 메일링 리스트에도 발표와 동시에 공지했다는군요.

그럼에도 이 연구가 보여주는 건 하나의 방향성입니다. 사람이 수십 년간 검증해온 암호 알고리즘도 이제 AI가 스트레스 테스트의 대상으로 다룰 수 있는 영역에 들어왔다는 것이죠. Anthropic은 이번 작업을 계기로 다른 암호 체계로도 탐색 범위를 넓혔고, ETH 취리히·텔아비브대·TU 베를린과 함께 LLM의 암호분석 능력을 측정하는 벤치마크 CryptanalysisBench도 함께 내놓았습니다.

참고자료: Discovering cryptographic weaknesses with Claude (Simon Willison 코멘트)