EchoLeak 공격 흐름도 (출처: Aim Security)
2025년 AI 보안 분야에 충격적인 발견이 공개되었습니다. Aim Security Labs가 Microsoft 365 Copilot에서 발견한 “EchoLeak”이라는 제로클릭 취약점은 단순한 보안 버그를 넘어서, AI 시대에 우리가 직면하게 될 새로운 형태의 사이버 위협을 보여주는 중요한 사례가 되었습니다.
AI 보안의 패러다임 전환점
EchoLeak은 기존 사이버 보안과 AI 보안이 결합된 하이브리드 공격의 전형을 보여줍니다. 이 취약점이 특별한 이유는 단순히 기술적 결함 때문이 아니라, RAG(Retrieval-Augmented Generation) 기반 AI 시스템의 설계 자체에 내재된 구조적 문제를 드러냈기 때문입니다.
전통적인 사이버 공격이 시스템의 입력 검증 실패나 권한 관리 오류를 악용했다면, EchoLeak은 AI 모델의 ‘이해’ 능력 자체를 무기로 사용합니다. 이는 AI가 고도화될수록 오히려 더 정교한 공격에 취약해질 수 있다는 역설적 상황을 시사합니다.
RAG 시스템의 치명적 약점
RAG 기반 AI 시스템은 사용자의 질문에 답하기 위해 외부 데이터베이스나 문서에서 관련 정보를 검색한 후, 이를 바탕으로 답변을 생성합니다. Microsoft 365 Copilot의 경우, 사용자의 이메일, OneDrive 파일, SharePoint 문서, Teams 대화 등 조직 내 모든 데이터에 접근할 수 있습니다.
문제는 이 과정에서 발생하는 ‘신뢰 경계의 혼재’입니다. 외부에서 온 이메일(신뢰할 수 없는 입력)이 조직 내부의 민감한 데이터(신뢰할 수 있는 데이터)와 동일한 컨텍스트에서 처리되면서, AI가 이 둘을 구분하지 못하게 됩니다.
LLM Scope Violation: 새로운 공격 기법의 탄생
Aim Labs는 이번 연구를 통해 “LLM Scope Violation”이라는 새로운 공격 기법을 정의했습니다. 이는 신뢰할 수 없는 입력이 AI 모델을 매개로 하여 본래 접근할 수 없는 권한 있는 데이터에 접근하게 되는 현상을 설명합니다.
전통적인 사이버 보안에서 이를 비유하면, 일반 사용자 권한으로 실행된 프로그램이 시스템의 특권 바이너리(suid binary)를 악용하여 관리자 권한의 리소스에 접근하는 것과 같습니다. 하지만 AI 환경에서는 이러한 권한 상승이 훨씬 더 은밀하고 탐지하기 어려운 방식으로 발생합니다.
EchoLeak 공격 체인의 정교함
EchoLeak의 공격 체인은 4단계의 보안 우회 기법을 연쇄적으로 활용합니다.
1단계: XPIA 분류기 우회
Microsoft가 프롬프트 인젝션 공격을 탐지하기 위해 배치한 XPIA(Cross-Prompt Injection Attack) 분류기를 우회합니다. 공격자는 AI나 어시스턴트에 대한 언급을 피하고, 마치 이메일 수신자에게 주는 지시사항인 것처럼 악성 명령어를 작성합니다.
2단계: 링크 차단 우회
Copilot은 외부 링크를 자동으로 차단하지만, 연구진은 마크다운의 참조 스타일 링크가 필터링되지 않는다는 점을 발견했습니다.
3단계: 이미지 차단 우회
사용자가 링크를 클릭하지 않아도 되도록, 브라우저가 자동으로 로드하는 이미지 태그를 활용합니다. 여기서도 참조 스타일 마크다운이 필터를 우회합니다.
4단계: CSP 우회
Content Security Policy를 우회하기 위해 Microsoft Teams의 URL 프리뷰 서비스를 악용합니다. 이를 통해 공격자는 최종적으로 조직의 민감한 데이터를 외부로 유출시킬 수 있습니다.
제로클릭의 위험성
EchoLeak이 특히 위험한 이유는 ‘제로클릭’ 특성 때문입니다. 사용자가 어떤 행동도 취하지 않아도 공격이 성공할 수 있다는 의미입니다. 공격자는 단순히 조직 내 직원에게 이메일을 보내기만 하면, 해당 직원이 Copilot을 사용할 때 자동으로 민감한 정보가 유출될 수 있습니다.
이는 기존의 피싱 공격이나 소셜 엔지니어링과는 완전히 다른 위협 모델입니다. 사용자의 실수나 부주의에 의존하지 않고, AI 시스템의 설계적 특성을 악용하는 것이기 때문입니다.
엔터프라이즈 AI 도입의 새로운 과제
EchoLeak 사건은 기업들이 AI 도구를 도입할 때 고려해야 할 새로운 보안 과제들을 제시합니다.
데이터 거버넌스의 재정의가 필요합니다. 기존의 파일 권한이나 폴더 구조 기반의 접근 제어로는 AI 시스템에서 발생할 수 있는 컨텍스트 혼재 문제를 해결할 수 없습니다. AI가 접근할 수 있는 데이터의 범위와 민감도를 더욱 세밀하게 관리해야 합니다.
입력 검증의 복잡성도 증가했습니다. 자연어 입력은 본질적으로 비구조화되어 있어 기존의 입력 검증 기법을 적용하기 어렵습니다. 특히 EchoLeak 사례에서 보듯이, 공격 의도가 은밀하게 숨겨진 텍스트는 일반적인 콘텐츠 필터로는 탐지하기 매우 어렵습니다.
컨텍스트 격리의 중요성이 부각되었습니다. 신뢰할 수 있는 데이터와 신뢰할 수 없는 데이터가 동일한 AI 모델의 컨텍스트에서 처리되지 않도록 하는 기술적 보호 장치가 필요합니다.
AI 보안 전문성의 필요성
EchoLeak과 같은 취약점은 기존 사이버 보안 전문가들에게도 새로운 학습 곡선을 요구합니다. AI 모델의 내부 동작 원리, 프롬프트 엔지니어링, RAG 시스템의 구조적 특성 등에 대한 이해 없이는 이러한 위협을 제대로 평가하거나 대응하기 어렵습니다.
보안 업계는 이제 “AI 네이티브” 보안 접근법을 개발해야 합니다. 이는 AI 시스템의 특성을 깊이 이해하고, AI 모델 자체의 동작을 보안 관점에서 분석할 수 있는 새로운 방법론을 의미합니다.
미래 전망: AI 에이전트 시대의 보안
EchoLeak은 빙산의 일각일 가능성이 높습니다. 앞으로 AI 에이전트들이 더욱 자율적으로 행동하고, 더 많은 시스템과 통합되면서 이와 유사한 취약점들이 계속 발견될 것으로 예상됩니다.
특히 멀티모달 AI, 크로스 플랫폼 AI 에이전트, 그리고 IoT와 연결된 AI 시스템들이 등장하면서 공격 표면은 기하급수적으로 확대될 것입니다. 각각의 AI 시스템이 서로 다른 신뢰 경계와 권한 모델을 가지고 있을 때, 이들 간의 상호작용에서 예상치 못한 보안 허점이 생길 수 있습니다.
대응 전략과 시사점
EchoLeak 사건으로부터 얻을 수 있는 교훈은 명확합니다. AI 시스템의 보안은 기존 사이버 보안의 확장이 아닌, 완전히 새로운 접근이 필요한 영역이라는 것입니다.
조직들은 AI 도구 도입 시 ‘제로 트러스트’ 원칙을 AI 컨텍스트에도 적용해야 합니다. 모든 입력을 잠재적으로 악의적인 것으로 간주하고, AI 시스템이 접근할 수 있는 데이터의 범위를 최소한으로 제한하는 것이 중요합니다.
또한 AI 보안 거버넌스 체계를 구축하여 AI 시스템의 동작을 지속적으로 모니터링하고, 새로운 형태의 위협에 신속하게 대응할 수 있는 체계를 마련해야 합니다.
AI가 우리의 업무와 생활에 더욱 깊숙이 통합되어가는 현재, EchoLeak과 같은 사건들은 단순한 기술적 문제를 넘어서 AI 시대 보안 패러다임의 근본적 전환을 요구하고 있습니다. 이러한 변화에 선제적으로 대응하는 조직만이 AI의 혜택을 안전하게 누릴 수 있을 것입니다.
Comments