범죄 집단이 AI를 이용해 보안 취약점을 발견하고, 이를 대규모 공격에 쓰려다 Google에 선제적으로 차단됐습니다. 취약점을 발견한 건 사람이 아니었습니다. AI였죠. Google Threat Intelligence Group(GTIG)이 이번 주 발표한 분기 위협 보고서에서 사상 처음으로 확인된 사례입니다.

GTIG는 구글 클라우드 산하 위협 인텔리전스 조직으로, Mandiant의 사고 대응 데이터와 Gemini 내부 모니터링을 결합해 분기마다 위협 동향을 발표합니다. 이번 보고서의 핵심은 AI가 단순한 공격 보조 수단을 넘어, 취약점 발굴 자체를 주도하기 시작했다는 겁니다.

출처: Adversaries Leverage AI for Vulnerability Exploitation, Augmented Operations, and Initial Access – Google Cloud Blog

코드 속에 남은 AI의 흔적

공격에 사용된 Python 스크립트를 분석한 GTIG는 곳곳에서 AI가 쓴 흔적을 발견했습니다. 코드 곳곳에 교과서적인 설명 주석(docstring)이 달려 있었고, 심지어 실제로는 존재하지 않는 CVSS 취약점 점수가 환각처럼 삽입되어 있었습니다. 코드 스타일도 LLM 학습 데이터에서 자주 보이는 정형화된 Pythonic 구조를 따르고 있었죠.

이 코드가 겨냥한 건 오픈소스 서버 관리 도구의 2단계 인증(2FA) 우회 취약점이었습니다. 공격자가 사용자 ID와 비밀번호만 알고 있으면 2FA를 건너뛸 수 있는 구조적 결함이었는데, 흥미로운 점은 이 취약점이 메모리 오염이나 입력 검증 오류처럼 도구로 잡기 쉬운 종류가 아니었다는 겁니다.

개발자가 특정 조건에서 인증을 신뢰하도록 하드코딩해 놓은 ‘의미론적 논리 결함’이었습니다. 코드를 표면적으로 읽으면 아무 문제없어 보이지만, 개발자의 의도와 실제 예외 처리 로직 사이의 모순을 읽어내야만 발견할 수 있는 종류죠. 기존의 정적 분석 도구나 퍼저(fuzzer)가 놓치기 쉬운 이 유형의 허점을, LLM은 문맥을 통해 읽어내는 데 점점 강해지고 있습니다.

AI가 해커에게 주는 진짜 이점

취약점을 찾는 건 원래 고도의 전문성과 많은 시간이 필요한 작업입니다. GTIG 보고서는 이 장벽이 무너지고 있다고 말합니다.

중국·북한 연계 위협 집단들은 이미 AI를 체계적으로 활용 중입니다. 한 사례에서는 실제 취약점 데이터베이스 8만 5,000건을 학습한 플러그인을 AI에 연결해, 마치 숙련된 보안 연구원처럼 코드를 분석하게 만들었습니다. 또 다른 집단은 수천 개의 반복적인 프롬프트를 자동으로 전송하며 CVE를 재귀적으로 분석하는 방식으로, 혼자서는 불가능한 규모의 취약점 연구를 수행했습니다.

공격 코드 개발도 빨라지고 있습니다. 러시아 연계 집단이 사용한 CANFAIL, LONGSTREAM 악성코드는 AI가 생성한 무관한 코드로 가득 채워져 있었는데, 이는 악성 기능을 정상적인 코드처럼 보이게 위장하는 의도적인 전략이었습니다. 보안 솔루션의 패턴 탐지를 교란하기 위해 AI가 ‘잡음’을 만드는 셈입니다.

AI로 막는다

GTIG 보고서가 위협만 나열하는 건 아닙니다. Google 역시 같은 기술로 방어에 나서고 있습니다.

Big Sleep은 Google DeepMind와 Project Zero가 개발한 AI 에이전트로, 실제 소프트웨어에서 알려지지 않은 취약점을 자율적으로 탐색합니다. 이미 실전에서 공격자가 사용 직전이었던 취약점을 먼저 발견해 차단한 사례도 있습니다. CodeMender는 한 단계 더 나아가 발견된 취약점을 자동으로 수정하는 실험적 에이전트입니다.

GTIG 수석 분석가 John Hultquist는 이번 사건에 대해 이렇게 말했습니다. “이건 앞으로 올 것들의 맛보기입니다. 빙산의 일각이라고 생각합니다.”

AI가 취약점을 먼저 찾는 경쟁에서, 공격자와 방어자가 같은 도구를 들고 달리고 있습니다. 이번 사례가 처음이었지만, 마지막은 아닐 겁니다. 보고서 전문에는 PROMPTSPY 안드로이드 백도어, AI 공급망 공격, 정보작전 사례 등 추가 분석이 담겨 있습니다.

참고자료: Google Alarmed by Formidable AI-Powered Zero-Day Cyberattack – Futurism