보안 연구진이 ChatGPT의 Connectors 기능을 악용해 사용자 클릭 없이도 Google Drive 등 연결된 서비스에서 민감한 데이터를 자동으로 탈취하는 새로운 공격 기법을 발견했습니다.
일상적인 업무가 보안 위험이 되는 순간
회사에서 받은 문서를 ChatGPT에 업로드해서 요약을 요청하는 일은 이제 일상이 되었습니다. 하지만 이런 평범한 행동이 치명적인 보안 사고로 이어질 수 있다는 사실이 밝혀졌습니다.
보안 전문업체 Zenity의 연구진은 최근 Black Hat 해커 컨퍼런스에서 ‘AgentFlayer’라는 새로운 공격 기법을 공개했습니다. 이 공격은 겉보기에 무해한 문서 하나로 사용자의 Google Drive, SharePoint, GitHub 등에 저장된 민감한 정보를 몰래 빼내는 방식입니다.
보이지 않는 함정: 간접 프롬프트 인젝션
공격의 핵심은 ‘간접 프롬프트 인젝션’이라는 기술입니다. 공격자는 문서에 1픽셀 크기의 흰색 글자로 악성 명령을 숨겨놓습니다. 사용자 눈에는 보이지 않지만, ChatGPT는 이 숨겨진 명령을 읽고 실행합니다.
실제 공격 시나리오는 다음과 같습니다:
- 함정 설치: 공격자가 악성 프롬프트를 숨긴 문서를 작성해 피해자와 공유
- 무의식적 실행: 피해자가 ChatGPT에 “이 문서 요약해줘”라고 요청
- 명령 탈취: 숨겨진 프롬프트가 ChatGPT를 조종해 연결된 Google Drive에서 API 키 등 민감한 데이터 검색
- 은밀한 유출: 이미지 렌더링을 통해 데이터를 공격자 서버로 전송
ChatGPT Connectors: 편리함 뒤에 숨은 위험
이 공격이 가능한 이유는 ChatGPT의 Connectors 기능 때문입니다. 이 기능은 ChatGPT를 Gmail, Google Drive, Microsoft 365, GitHub 등 외부 서비스와 연결해줍니다. 사용자는 “지난주 회의록을 찾아서 요약해줘”라고 요청하면 ChatGPT가 직접 연결된 서비스에서 정보를 찾아 답변해줍니다.
문제는 ChatGPT가 사용자의 명령과 문서 내용을 구분하지 못한다는 점입니다. 문서에 숨겨진 악성 명령도 정당한 사용자 요청으로 인식해 그대로 실행합니다.
우회 기술: 안전해 보이는 URL의 함정
OpenAI는 이미 이런 공격을 예상하고 이미지 URL의 안전성을 검증하는 보안 장치를 만들어뒀습니다. 하지만 연구진은 이마저도 우회하는 방법을 찾았습니다.
Azure Blob Storage처럼 신뢰할 만한 서비스의 URL은 안전하다고 판단됩니다. 공격자는 이를 악용해 Azure에 이미지를 올리고, 여기에 유출된 데이터를 매개변수로 붙여 전송합니다. Azure의 로그 분석 기능을 통해 이 데이터를 수집하는 방식입니다.
OpenAI의 대응과 남은 과제
OpenAI는 연구진의 보고를 받고 즉시 해당 취약점을 패치했습니다. 하지만 전문가들은 근본적인 문제가 해결된 것은 아니라고 지적합니다.
프롬프트 인젝션은 LLM의 본질적인 특성을 악용하는 공격입니다. LLM은 자연어 명령어로 작동하는데, 악성 명령어와 정상 명령어를 구분하기가 매우 어렵습니다. 이는 SQL 인젝션과 비슷하지만, 더 교묘하고 탐지하기 어려운 특징이 있습니다.
사용자와 기업이 취해야 할 보안 조치
개인 사용자를 위한 가이드
출처 불명 파일 주의: 이메일이나 메신저로 받은 문서를 ChatGPT에 업로드하기 전에 신뢰할 수 있는 출처인지 확인하세요.
민감한 데이터 분리: API 키나 비밀번호 같은 중요한 정보는 AI가 접근할 수 있는 클라우드 서비스에 저장하지 마세요.
연결 권한 최소화: ChatGPT에 연결하는 외부 서비스는 꼭 필요한 것만 선택하고, 정기적으로 권한을 검토하세요.
기업을 위한 보안 전략
최소 권한 원칙: AI 도구에는 업무 수행에 꼭 필요한 최소한의 권한만 부여하세요.
입력 검증 강화: 알려진 악성 프롬프트 패턴을 차단하는 필터를 도입하되, 오탐지 가능성도 고려해야 합니다.
인간 검토 단계: 중요한 작업은 AI가 자동으로 실행하지 않고 담당자가 검토 후 승인하는 절차를 만드세요.
직원 교육: AI 보안 위험에 대한 인식을 높이고, 안전한 사용법을 교육하세요.
AI 시대 보안의 새로운 패러다임
이번 사건은 AI가 단순한 도구에서 새로운 공격 벡터로 변할 수 있음을 보여줍니다. 특히 주목할 점은 이 공격이 특별한 기술 지식 없이도 가능하다는 것입니다. 해커는 복잡한 코드 대신 일반적인 영어 문장만으로도 AI를 조종할 수 있습니다.
앞으로 AI가 더 많은 시스템과 연결되고 더 강력한 권한을 갖게 될수록, 이런 공격의 파급력은 더욱 커질 것입니다. 기업들은 AI 도입의 이점을 누리면서도 새로운 보안 위험에 대비해야 하는 과제를 안게 되었습니다.
무엇보다 중요한 것은 AI를 맹목적으로 신뢰하지 않는 것입니다. AI는 분명 유용한 도구지만, 동시에 새로운 형태의 보안 위험을 만들어내는 양날의 검이기도 합니다. 사용자와 기업 모두 이 점을 인식하고 적절한 보안 조치를 취해야 할 때입니다.
참고자료:
Comments