호평은 대개 이렇게 시작합니다. “마법 같다.” 요즘 실리콘밸리에서 가장 화제인 개인 비서 Instinct를 두고 초기 사용자들이 남긴 말이죠. 그런데 같은 사람들이 약관 화면을 캡처해 돌리기 시작하면서, 분위기가 조금 달라졌습니다.

Instinct는 아직 비공개 테스트 단계의 AI 개인 비서입니다. 전 Sierra 연구원 노아 신이 이끄는 작은 팀이 만들었고, 이메일·메시지 앱·캘린더는 물론 기기의 오디오·위치·화면까지 연결해 씁니다. 문자나 왓츠앱으로 말을 걸면 예약을 잡고, 공항 갈 차편을 부르고, 인박스를 정리하고, 싼 항공권을 찾아옵니다. 테스터들의 호평이 나온 자리가 바로 이 실행력입니다.

출처: Instinct’s powerful AI assistant is raising privacy and security concerns – TechCrunch

약관에 적힌 ‘영구·취소 불가’

문제는 그 실행력을 위해 무엇을 넘기는가에 있습니다. 사용자들이 캡처해 공유한 이용약관을 보면, Instinct는 사용자의 자료에 “영구적이고 취소 불가능한” 광범위한 라이선스를 갖습니다. 접근·사용·저장·복제·전송·공개·배포·수정까지, 게다가 자사 AI 모델 학습에 쓰는 것도 포함되죠.

기기에서 받아가는 정보의 범위도 넓습니다. 화면 캡처, 커서 움직임, 키보드 입력까지. 여기에 한 가지 더 무거운 조항이 붙습니다. Instinct가 사용자를 대신해 “계약, 약정, 거래”를 맺을 수 있고, 그게 구속력을 갖는다는 것.

조항 하나하나가 과해 보이지만, 뜯어보면 비서의 능력과 짝을 이룹니다. 이메일을 정리하고 예약을 잡고 계약까지 대신 맺으려면 그만큼 넓고 상시적인 접근 권한이 있어야 하니까요. 정말 문제가 되는 건 ‘영구·취소 불가’와 ‘학습 사용’이 겹치는 지점이죠. 내가 넘긴 자료가 서비스를 떠난 뒤에도 회수되지 않고 모델 안에 남을 수 있다는 뜻이 됩니다.

실제로 삐걱댄 사례도 나왔습니다. 초기 사용자 피터 양은 지메일 기록을 지워달라고 했지만 Instinct가 응하지 않았다고 전했죠. (팀이 나중에 외부 데이터 삭제 도구를 설정에 추가해 고쳤다고 합니다.) 또 다른 사용자 클레어 보는 접근 권한을 끊은 뒤에도 비서가 자기 인박스를 계속 요약하고 있는 걸 발견했습니다.

두 사례를 단순한 초기 버그로만 넘기기는 어렵습니다. 권한을 ‘줬다’는 것과 ‘언제든 거둘 수 있다’는 것 사이에 틈이 있다는 신호니까요. 테스터들이 약관 문구만큼이나 보안 모델 자체를 걱정한 이유가 여기 있습니다.

Instinct만의 문제는 아니다

이 불편함을 Instinct 한 회사의 문제로만 보면 절반만 본 겁니다. 같은 날 나온 다른 이야기가 이걸 더 선명하게 만듭니다.

OpenAI 데스크톱 앱의 리드 엔지니어 앤드류 앰브로시노는 자기 앱에 인박스, 슬랙 계정, 전화, 노션과 피그마까지 통제권을 통째로 넘긴 겁니다. AI에게 문서를 쓰라고 시키면 사적인 DM에서 정보를 끌어와 실수로 공유할 가능성이 있지 않냐는 질문에, 그는 “그렇다”고 인정했습니다. 그러면서도 “일을 위해서라면 감수하겠다”고 답했죠.

이 방향에는 돈의 논리도 깔려 있습니다. 오래 돌아가는 에이전트일수록 토큰을 더 많이 먹고, 그만큼 회사엔 사용자당 수익이 커집니다. 그래서 랩들은 코딩을 넘어 회계·투자·의료까지, 컴퓨터로 하루를 보내는 모든 직군으로 에이전트를 밀어 넣으려 하죠. 개인에게 “열쇠를 다 넘기라”는 요구가 점점 기본값이 되어가는 배경입니다.

모델에서 가장 큰 가치를 뽑아내려면 열쇠를 줘야 한다. 이 등식이 지금 에이전트 제품들이 공통으로 밟고 있는 길입니다. 그리고 여기서 개인에게 남는 질문은 하나로 모입니다. 나는 내 디지털 생활의 통제권을 어디까지, 무엇을 받고 내줄 것인가.

열쇠를 넘기기 전에

에이전트가 “마법 같다”고 느껴지는 순간은 대개 그것이 내 계정과 기기에 깊숙이 들어온 뒤입니다. 편리함과 노출은 같은 문에서 들어옵니다.

그래서 이런 서비스를 붙일 때 실제로 확인이 갈리는 지점은 두 곳입니다. 하나는 약관이 내 자료에 어떤 권리를 요구하는지, 특히 학습 사용과 대리 계약 조항이 있는지. 다른 하나는 접근을 끊었을 때 정말로 끊기는지. Instinct 사례가 보여준 건, 이 두 가지가 생각만큼 자명하지 않다는 사실입니다.