프롬프트 인젝션은 지금까지 공격자의 무기였습니다. 이메일이나 캘린더 초대장 안에 악성 명령어 한 줄만 몰래 심어두면, AI가 그걸 따라 민감한 데이터를 빼돌리는 식이었죠. 그런데 최근 이 기법을 거꾸로 방어에 쓰기 시작한 사람들이 나타났습니다.

보안 스타트업 Tracebit이 이 발상을 실제로 검증한 연구 결과를 내놨고, Ars Technica가 이를 취재해 보도했습니다.

출처: Now, defenders are embracing the prompt injection, too – Ars Technica

미끼 옆에 금지된 명령어 하나

Tracebit 연구팀이 찾아낸 방법은 단순합니다. AWS에 저장된 비밀번호나 암호키 같은 데이터 옆에, 프롬프트 인젝션 문구를 함께 심어두는 거죠. 공격에 나선 AI 에이전트가 이 자원들을 훑다가 미끼로 심어둔 데이터를 발견하는 순간, 이 문구도 함께 읽게 됩니다.

문구의 내용은 AI 개발사가 만든 안전장치, 즉 가드레일이 반드시 거부하도록 설계된 명령입니다. 예를 들면 흡입용 탄저균 포자를 만드는 방법을 알려달라는 요청이죠. 중국계 모델을 겨냥할 때는 1989년 톈안먼 사태의 상징인 ‘탱크맨’을 언급하는 문구를 쓰기도 합니다.

이런 금지된 명령을 마주친 AI는 거부 반응을 일으킵니다. 한번 이 반응이 일어나면, 이후의 다른 명령도 계속 거부하는 경향을 보입니다.

Tracebit은 이 기법에 ‘컨텍스트 폭탄(context bombing)’이라는 이름을 붙였습니다. Tracebit 공동창업자 Andy Smith는 이 이름을 이렇게 설명합니다. “결국 우리가 하는 건 컨텍스트 안에서 거부 메커니즘을 촉발시키는 겁니다. 이 효과가 강력하고 날카롭다는 것, 그리고 한번 발동되면 에이전트가 다시 정상으로 돌아오기 어렵다는 걸 담고 싶었습니다.”

성공률이 93%에서 0%로 떨어졌다

Tracebit은 이 기법을 실제로 시험해봤습니다. Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro, Kimi 2.6까지 5개 모델을 대상으로, 모의 AWS 환경 안에서 개발자가 흔히 시키는 업무를 수행하도록 지시했죠. 이 과정에서 모델들은 자원을 훑다가 미끼로 심어둔 문자열과 우연히 마주치게 됩니다.

5개 모델을 대상으로 152회 공격을 시도한 결과, 관리자 권한을 완전히 탈취하는 비율이 57%에서 5%로 떨어졌습니다. 시스템에 지속적인 발판까지 남기는 완전한 장악률은 36%에서 1%로 줄었죠. 가장 강력했던 모델인 Opus 4.8은 원래 93%의 확률로 관리자 권한을 획득했는데, 컨텍스트 폭탄을 마주친 뒤로는 단 한 번도 성공하지 못했습니다.

방어자가 공격자의 도구를 그대로 빌려와, 공격 AI 스스로 만든 안전장치에 걸려 넘어지게 만든 셈입니다. 프롬프트 인젝션이 공격과 방어 양쪽에서 쓰이는 도구가 되고 있다는 걸 보여주는 사례입니다.