프롬프트를 넣어 답을 받는 일은 매일 일어납니다. 반대 방향은 오랫동안 불가능에 가깝다고 여겨졌죠. 같은 답에 이를 수 있는 프롬프트가 너무 많아서 되돌릴 길이 없다는 이유였습니다.
IIT 봄베이와 어도비 리서치 연구팀이 그 반대 방향을 해냈습니다. 방법의 이름은 PTP(Previous-Token Prediction), 다음 토큰이 아니라 이전 토큰을 예측하도록 훈련한 역방향 언어모델이죠. 모델 가중치도 로짓도 없이, 생성된 텍스트만 있으면 작동합니다.
출처: PTP: Previous-Token Prediction based LLM Inversion for Near-Exact Prompt Reconstruction – arXiv
언어모델을 거꾸로 훈련시킨다
언어모델은 앞의 토큰들을 보고 다음 토큰을 고릅니다. PTP는 그 방향을 뒤집죠. 이전 토큰을 맞히도록 학습시킨 별도의 역방향 모델을 세워, 응답에서 프롬프트 쪽으로 거슬러 올라가게 만든 겁니다.
학습 데이터는 외부에서 가져오지 않습니다. 대상이 되는 LLM에 프롬프트를 넣어 뽑아낸 합성 데이터만으로 역모델을 처음부터 훈련하죠. 남의 데이터셋도, 모델 내부 접근도 필요하지 않다는 것이 이 방식의 핵심입니다.
기존 연구와의 차이가 여기서 갈립니다. 앞선 시도들은 사전학습된 시퀀스 변환 모델을 대규모 외부 데이터로 파인튜닝했고, 대개 모델 가중치나 로짓에 접근할 수 있다는 전제를 깔고 있었죠. 결과물도 “의미가 그럴듯한 프롬프트”를 짓는 쪽에 가까웠던 겁니다.
답 하나에서 프롬프트 일곱 개
논문의 예시 하나가 감을 잡게 해줍니다. “경쟁사의 가격 전략을 알아내려면 어떻게 접촉해야 하나”라는 프롬프트가 단어 단위로 그대로 복원됐죠. 여기에 더해, 뜻은 같고 표현만 다른 변형 여섯 개가 함께 나왔습니다.
변형을 만드는 방법은 디코딩 파라미터를 조정하는 것뿐이죠. 연구팀은 이 변형들을 다시 원래 모델에 넣어봤고, 응답이 원본과 비슷하게 나오는지로 복원 품질을 확인했습니다. 실제 사용자 프롬프트를 대상으로 한 실험에서도 표현은 달라져도 의미의 핵심은 잡혔다는 것.
어떤 모델이 쓴 글인지 몰라도 된다
더 곤란한 결과는 전이성입니다. 작은 챗봇 모델인 Qwen-3-0.6B로 훈련한 역모델이, GPT-4o가 만든 응답에서 프롬프트를 복원해냈죠. 원문과 글자까지 똑같지는 않았지만 의미와 의도는 잡아냈습니다.
공격자 입장에서 보면 조건 하나가 통째로 사라진 셈입니다. 눈앞의 텍스트를 어떤 모델이 만들었는지 알아낼 필요가 없고, 작고 공개된 역모델 하나면 충분하다는 뜻이니까 말이죠.
어제 다룬 암호화된 추론 유출과는 성격이 다릅니다. 그쪽은 모델이 속으로 진행하는 사고 과정에 접근해 평문으로 되돌린 사례였죠. 이번 방법은 그런 특별한 접근 권한조차 필요로 하지 않습니다. 이미 공개된 답변 텍스트 하나면 충분합니다.
암호화된 AI의 ‘속생각’을 통째로 빼냈다, 비밀번호까지 딸려 나왔다
워터마크가 남기는 것과 다른 층위
노출 대상은 두 갈래입니다. 기업 쪽에서는 영업비밀이나 모더레이션 규칙이 담긴 시스템 프롬프트가, 개인 쪽에서는 남에게 보이고 싶지 않았던 질문이 출력물에 묻어 있는 겁니다.
같은 시기에 논의되는 워터마크와 나란히 놓으면 성격이 분명해집니다. 워터마크가 남기는 정보는 “이 글은 AI가 만들었다”는 사실 하나죠. 프롬프트 복원이 드러내는 건 “무엇을 시켰는가”입니다.
Sean Goedecke는 텍스트 워터마크가 구조적으로 지우기 쉽다고 지적합니다. 뒤집어 보면, 나중에 붙인 표식은 지울 수 있어도 출력 안에 이미 배어 있는 입력의 흔적은 지울 대상조차 아닙니다.
Claude 출력에 보이지 않는 워터마크가 박힌다, 무엇이 붙고 어떻게 확인하나
아직 확인되지 않은 범위
논문은 상용 서비스를 공격할 수 있다고 주장하지 않습니다. 검증된 범위는 한두 문장짜리 짧은 프롬프트입니다. 여러 문단에 걸친 긴 시스템 프롬프트에서도 같은 정확도가 나오는지는 실험되지 않았습니다.
그래서 지금 단계에서 이 결과가 말해주는 건 위험의 크기라기보다 방향입니다. 프롬프트를 내 쪽에만 있는 자산으로 여겨온 전제가 흔들렸다는 것. 결과물을 밖에 내놓을 때 무엇이 함께 나가는지 한 번 더 생각하게 만드는 연구죠.
참고자료:
답글 남기기