무해해 보이는 이미지 한 장이 AI 시스템을 조작해 사용자 데이터를 유출시키고 악성 명령을 실행하는 새로운 공격 방식이 발견됐습니다.
보안 업체 Trail of Bits 연구진이 2025년 8월 21일 공개한 연구에 따르면, AI 시스템이 대용량 이미지를 축소 처리할 때 발생하는 취약점을 악용한 전혀 새로운 형태의 사이버 공격이 가능하다는 사실이 밝혀졌습니다. 이 공격은 원본 해상도에서는 완전히 무해해 보이지만, AI가 처리하기 위해 이미지 크기를 줄일 때 숨겨진 악성 명령이 드러나는 교묘한 방식으로 작동합니다.
실제로 작동하는 공격의 충격적 현실
연구진은 이 공격이 단순한 이론적 가능성이 아님을 보여주기 위해 실제 프로덕션 시스템에서 성공적인 공격을 시연했습니다. Google Gemini CLI를 대상으로 한 실험에서는 겉보기에 평범한 이미지 파일을 업로드하는 것만으로 사용자의 Google 캘린더 데이터를 공격자의 이메일로 유출시키는 데 성공했습니다.
더욱 놀라운 것은 이 공격이 다양한 주요 AI 시스템에서 광범위하게 작동한다는 점입니다:
- Google Gemini CLI 및 웹 인터페이스
- Vertex AI Studio
- Google Assistant (안드로이드)
- Genspark AI 브라우저
- 기타 다수의 프로덕션 AI 서비스
보이지 않는 공격의 과학적 원리
이 공격의 핵심은 나이퀴스트-샤논 샘플링 정리라는 신호 처리의 기본 원리를 악용하는 데 있습니다. 쉽게 설명하면 이렇습니다.
복잡한 무늬가 새겨진 긴 리본을 상상해보세요. 이 리본이 빠르게 지나갈 때 일정 간격으로 사진을 찍어 원래 무늬를 재현하려 한다면, 무늬가 변하는 속도보다 빠르게 사진을 찍어야 합니다. 만약 사진 찍는 속도가 너무 느리면 원래와는 전혀 다른 무늬가 나타나게 됩니다.
이미지 스케일링 공격도 같은 원리입니다. 공격자는 이미지의 특정 픽셀들을 정교하게 조작해 원본에서는 보이지 않지만 축소했을 때만 나타나는 숨겨진 메시지를 만들어냅니다.
현재 AI 시스템에서 사용하는 세 가지 주요 축소 알고리즘(최근접 이웃, 이중선형, 이중삼차 보간법)은 각각 다른 수학적 특성을 가지고 있어, 공격자가 각 알고리즘에 맞춘 전용 공격 이미지를 제작할 수 있습니다.
공격 도구의 등장과 확산 가능성
연구진은 이번 발견과 함께 Anamorpher라는 오픈소스 도구를 공개했습니다. ‘아나모포시스(왜상)’라는 미술 기법에서 이름을 따온 이 도구는 다양한 이미지 축소 알고리즘에 맞춤화된 공격 이미지를 생성할 수 있습니다.
아나모포시스는 특정 각도나 거리에서만 제대로 보이는 왜곡된 그림을 그리는 기법입니다. 레오나르도 다빈치나 한스 홀바인 같은 거장들이 사용했던 이 기법이 AI 보안 공격에 응용된 것입니다.
Anamorpher는 다음과 같은 방식으로 작동합니다:
- 표적 이미지 선택: 어두운 영역이 큰 무해한 이미지 선택
- 픽셀 조작: 어두운 영역의 특정 픽셀들의 밝기를 미세 조정
- 최적화: 축소 시 배경이 빨간색으로 변하면서 검은 텍스트와 강한 대비를 만들도록 수학적 최적화
- 은밀한 삽입: 원본에서는 전혀 보이지 않는 악성 명령을 축소 버전에서만 드러나게 함
우려되는 확산 시나리오
이 공격의 가장 큰 우려 사항은 확산 가능성입니다. 연구진은 특히 모바일과 엣지 디바이스에서 위험이 클 것이라고 경고했습니다. 이런 환경에서는 고정된 이미지 크기 제한이 더 자주 적용되고, 최적화되지 않은 축소 알고리즘이 기본으로 제공되는 경우가 많기 때문입니다.
더욱 심각한 것은 사용자가 실제로 처리되는 이미지를 볼 수 없는 환경이 많다는 점입니다. 특히 CLI 도구나 API를 통한 처리에서는 축소된 이미지에 대한 미리보기 기능이 제공되지 않아 공격을 탐지하기 매우 어렵습니다.
Google의 대응과 업계 반응
Google은 이번 보안 보고서에 대해 신속하게 응답했습니다. Google 대변인은 The Register와의 인터뷰에서 “보안 보고서를 진지하게 받아들이며 보안 커뮤니티의 연구에 감사한다”면서도 “해당 행위는 Gemini CLI의 기본 보안 설정에서는 취약점이 아니다”라고 설명했습니다.
Google에 따르면 이 공격이 성공하려면 사용자가 먼저 MCP(Model Context Protocol) 도구 호출을 자동 승인하도록 설정을 변경해야 하며, 이는 기본 설정을 무시하는 행위라고 밝혔습니다. 또한 “개발자는 신뢰할 수 있는 파일과 데이터에만 접근 권한을 부여하고 샌드박스 환경에서 작업할 것을 강력히 권장한다”며 보안 지침을 강조했습니다.
그럼에도 불구하고 Google은 이번 기회를 통해 이런 보안 기능을 비활성화하는 사용자에게 더욱 명시적인 경고를 추가할 계획이라고 발표했습니다.
실용적인 방어 전략
연구진은 이 새로운 위협에 대응하기 위한 구체적인 방어 방안을 제시했습니다:
즉시 적용 가능한 대책:
- 가능하다면 이미지 축소 기능을 완전히 비활성화하고 업로드 해상도 제한으로 대체
- CLI나 API 도구에서도 AI가 실제로 처리하는 이미지의 미리보기 제공
- 민감한 작업에 대한 명시적 사용자 확인 절차 강화
근본적인 보안 설계 원칙:
- 이미지 내 텍스트를 포함한 모든 입력이 사용자 확인 없이 민감한 도구를 호출할 수 없도록 하는 시스템 설계
- 다층 방어 체계를 통한 프롬프트 인젝션 전반에 대한 체계적 보안 강화
- 사용자가 보는 것과 AI가 처리하는 것 사이의 차이를 최소화
AI 보안의 새로운 패러다임
이번 발견은 AI 보안이 단순히 텍스트 기반 프롬프트 인젝션을 넘어 멀티모달 환경에서 훨씬 복잡한 양상을 띤다는 것을 보여줍니다. 특히 사용자의 인지와 AI의 실제 처리 사이에 존재하는 격차가 새로운 공격 경로가 될 수 있음을 시사합니다.
앞으로는 음성 AI 시스템에서도 비슷한 공격이 가능할지, 그리고 업스케일링과 연결된 디더링 같은 추가적인 이미지 처리 과정에서도 취약점이 발견될지 주목해볼 필요가 있습니다.
현재 베타 버전으로 공개된 Anamorpher는 보안 연구자들이 자신의 시스템을 테스트하고 방어 체계를 구축하는 데 활용할 수 있습니다. 하지만 동시에 악의적인 목적으로도 사용될 수 있어, AI 시스템 운영자들의 선제적 보안 강화가 시급한 상황입니다.
이번 발견은 AI 기술의 급속한 발전과 함께 보안 위협도 계속 진화하고 있음을 보여주는 중요한 사례입니다. 개발자와 사용자 모두 이런 새로운 형태의 위협에 대비하여 보안 의식을 높이고 적절한 방어 체계를 갖춰야 할 때입니다.
참고자료:
Comments