Apple이 WWDC 2026에서 Siri AI를 발표하며 내세운 약속은 “Google Gemini와 결합해도 당신의 데이터는 안전하다”였습니다. 그 근거가 바로 Private Cloud Compute(PCC)입니다.
Johns Hopkins 대학의 암호학 교수 Matthew Green이 이 발표를 보고 블로그에 글을 올렸습니다. 요지는 이렇습니다. PCC는 잘 설계된 시스템이고, 적어도 Apple과 Google이 당신의 추론 결과를 엿보는 것은 막아줄 수 있다. 하지만 에이전트가 “말을 하기 시작하는” 순간, PCC가 보장하는 것은 사실상 아무것도 남지 않는다.
출처: The future of Siri, or: why private inference isn’t private enough – A Few Thoughts on Cryptographic Engineering
PCC가 실제로 보호하는 것
PCC는 2024년에 처음 도입된 시스템입니다. 당신의 쿼리와 기기의 개인 데이터가 Apple Silicon 서버로 암호화되어 전송되고, 추론이 끝나면 삭제됩니다. 설계상 Apple조차 중간에 내용을 볼 수 없습니다. WWDC 2026에서는 이 시스템이 Google의 Confidential Compute 인프라까지 확장됐습니다.
Green 교수는 이 설계 자체는 인정합니다. PCC가 보호하도록 설계된 위협, 즉 추론 서버를 운영하는 제공자가 당신의 데이터를 들여다보는 상황에 대해서는 효과가 있다고요.
문제는 그것이 에이전트가 마주하는 위협의 아주 작은 조각일 뿐이라는 데 있습니다.
에이전트는 말을 해야 한다
비유를 하나 들어보겠습니다. 당신의 모든 파일과 메시지를 읽을 수 있지만 창문도 전화도 없는 방에 갇힌 비서가 있다면, 데이터는 완벽하게 안전하지만 비서는 아무 쓸모가 없습니다. 오늘날 Apple Intelligence가 하는 일이 딱 이 수준입니다.
Siri AI가 진짜로 유용해지려면 비서는 방 밖으로 연결되어야 합니다. 식당 예약을 위해 검색 엔진에 쿼리를 보내고, 캘린더 초대를 발송하고, 문자 메시지를 보내야 하죠. 그리고 그 순간, PCC의 보호는 사실상 의미를 잃습니다.
Green 교수가 드는 예시가 구체적입니다. 여섯 명의 비즈니스 디너를 잡는다고 해보겠습니다. 에이전트는 당신의 메시지를 읽어 참석자들의 일정을 파악하고, 식단 제한 사항을 확인하고, 적합한 식당을 찾아 예약합니다. 이 과정에서 에이전트는 당신의 iMessage, 이메일, 개인 메모를 훑습니다. 그리고 식당 검색을 위해 Gemini나 ChatGPT 같은 외부 LLM에 이런 식의 쿼리를 보낼 수 있습니다.
“참석자 30가지 세부 사항을 여기 정리했으니, 모두에게 맞는 식당을 찾아줘.”
이 순간, 당신이 몇 년 전 메시지에서 나눈 대화가 외부 서버로 흘러나갑니다. PCC가 완벽하게 작동하고 있는 상태에서도요.
에이전트를 향해 말 걸어오는 자들
두 번째 위협은 더 즉각적입니다. 보안 연구자 Simon Willison이 “치명적 삼중 위협(Lethal Trifecta)”이라고 부르는 조건이 있습니다. 세 가지가 동시에 존재할 때 발동됩니다.
- 개인 데이터에 대한 접근 권한
- 에이전트가 파싱해야 하는 신뢰할 수 없는 외부 콘텐츠
- 외부로 통신을 보낼 수 있는 능력
Siri AI는 이 세 가지를 모두 갖춥니다. 에이전트는 당신의 이메일과 문자를 읽어야 하고, 그 메시지 안에는 악의적인 프롬프트가 숨겨져 있을 수 있습니다. 프롬프트 인젝션 공격이라고 부르는 이 방식은, 수신된 이메일 본문에 LLM을 향한 지시문을 심어두는 방식입니다. 에이전트가 그것을 읽으면 공격자가 의도한 행동을 실행하게 됩니다.
OpenAI가 최근 ChatGPT에 “잠금 모드(Lockdown Mode)”를 도입한 이유가 여기에 있습니다. 웹 검색을 허용하면 민감한 문서가 외부로 유출될 수 있다는 이유로, 검색 자체를 차단하는 기능입니다. 에이전트가 강력해질수록 이 취약점도 커집니다.
암호학이 답이 될 수 없는 이유
마지막 위협은 가장 근본적입니다. 에이전트를 설계한 주체 자체가 위협이 될 수 있다는 것입니다.
에이전트는 당신의 메시지, 일정, 습관, 선호도 전부에 접근합니다. 그리고 그 에이전트를 만든 쪽이 검색 엔진도 운영한다면, 에이전트가 보내는 쿼리 하나하나가 광고 타겟팅에 극히 유용한 신호가 됩니다. 당신이 잊어버린 몇 년 전 대화까지 포함해서요.
정부 감시도 같은 논리로 작동할 수 있습니다. 에이전트가 이미 모든 데이터를 보고 있으므로, “의심스러운 패턴을 감지하면 보고하라”는 지시 한 줄이면 됩니다. 영국의 OFCOM은 이미 암호화 메신저에 비슷한 요구를 하고 있고, EU에서도 유사한 논의가 있었습니다.
Green 교수의 결론은 단호합니다. 유용한 개인 비서와 광고 봇, 정부 감시 도구의 차이는 결국 프롬프트 몇 줄과 파인튜닝의 차이일 뿐입니다. 개인 데이터 접근과 외부 통신 능력이 결합된 이상, 프라이버시 추론 기술만으로는 아무것도 보장할 수 없습니다.
암호학이 수십 년 동안 해온 일은 신뢰를 제거하는 것이었습니다. “보지 않겠다고 약속합니다”를 “기술적으로 볼 수 없습니다”로 바꾸는 것이죠. 하지만 에이전트 시대에 우리가 맞닥뜨린 위협은 암호학이 설계된 적 없는 종류의 것들입니다. 그것을 막아주는 것은 결국 법, 정치, 기업 인센티브라는, 우리가 암호학으로 대체하려 했던 바로 그 인간적 제도들입니다.
답글 남기기