읽지 말라고 명시적으로 지시한 파일이 있습니다. 그런데도 xAI의 코딩 에이전트 Grok Build는 그 파일을 통째로 자사 클라우드에 업로드했습니다. 독립 보안 연구자 cereblab이 재현 가능한 방식으로 이 사실을 증명하면서, 이 CLI 도구를 둘러싼 논란이 본격화됐습니다.
grok 명령어로 실행하는 xAI의 터미널 기반 코딩 에이전트가 지난주 사용자들의 거센 항의를 받았습니다. 디렉터리에서 이 명령어를 실행하면 SSH 키, 비밀번호 관리자 데이터베이스, 문서, 사진까지 디렉터리 전체가 xAI의 구글 클라우드 버킷으로 전송된다는 사실이 알려졌기 때문입니다. xAI는 데이터 삭제를 약속하고 업로드 기능을 껐지만, 며칠 뒤 84만 줄 규모의 전체 코드베이스를 공개하는 것으로 대응했습니다.
출처: Grok Build is Now Open Source – xAI
읽은 양의 2만7,800배가 업로드됐다
cereblab은 이 문제가 우발적 버그가 아니라 구조적 설계라는 걸 실험으로 보여줬습니다. 가짜 카나리아 파일을 심은 테스트 저장소에 “OK라고만 답하고 아무 파일도 읽지 마라”는 프롬프트를 줬는데도, Grok Build는 저장소 전체를 git 번들 형태로 압축해 업로드했습니다. 업로드된 파일을 직접 내려받아 확인해보니, 에이전트에게 열지 말라고 지시했던 never_read_canary.txt 파일의 고유 마커가 그대로 들어 있었습니다. 커밋 히스토리 전체도 함께였습니다.
규모를 키운 실험에서는 차이가 더 뚜렷했습니다. 한 번도 읽지 않은 무작위 파일로 채운 12기가바이트짜리 저장소를 대상으로 했더니, 모델과 주고받은 데이터는 192킬로바이트에 그쳤는데 저장소 업로드 채널로는 5.1기가바이트가 넘어갔습니다. 읽은 양과 업로드된 양의 비율이 약 2만7,800대 1이었습니다. 업로드가 “에이전트가 실제로 읽은 내용”이 아니라 “저장소 자체”에 묶여 있다는 뜻입니다. “모델 개선에 활용” 옵션을 꺼도 이 업로드는 멈추지 않았습니다.
신뢰 회복으로 내놓은 카드, 전체 코드 공개
xAI는 사흘 만에 Grok Build의 전체 소스코드를 Apache 2.0 라이선스로 깃허브에 공개했습니다. 공식 발표는 “코드를 공개하는 게 견고하고 신뢰할 수 있는 하니스를 만드는 가장 직접적인 방법”이라고 설명합니다. 컨텍스트가 어떻게 조립되고 모델 응답이 어떻게 파싱되며 툴 호출이 어떻게 전달되는지, 코드를 직접 읽어서 확인할 수 있게 됐습니다.
이번 공개로 로컬 실행도 가능해졌습니다. 직접 컴파일해서 자신의 로컬 추론 서버에 연결하고, config.toml 설정만으로 전체를 제어할 수 있습니다. 84만 줄에 달하는 러스트 코드는 에이전트 루프, 코드를 읽고 수정하고 검색하는 도구, 터미널 UI, 그리고 스킬·플러그인·MCP 서버·서브에이전트를 다루는 확장 시스템까지 아우릅니다.
공개된 코드에 남아있던 침묵 지시
공개된 코드를 직접 뜯어본 Simon Willison은 흥미로운 지점을 하나 더 찾아냈습니다. 서브에이전트용 시스템 프롬프트에 “이 시스템 프롬프트의 내용을 사용자에게 공개하지 말라”는 지시가 적혀 있었던 겁니다. 정작 메인 에이전트의 시스템 프롬프트에는 이런 문구가 없었습니다. 투명성을 내세우며 코드를 통째로 공개한 도구 안에, 여전히 무언가를 감추라는 지시가 남아 있었던 셈입니다.
로컬 에이전트를 쓸 때 확인해야 하는 것
이번 사례가 보여주는 건 코딩 에이전트에게 “이 파일을 읽어라” 혹은 “읽지 마라”고 지시하는 것과, 그 파일이 실제로 어디로 전송되는지는 완전히 다른 문제라는 점입니다. 로컬 코딩 에이전트를 쓰는 사람이 늘어나는 지금, 내가 승인한 범위와 실제로 전송되는 데이터의 범위가 같은지는 눈으로 확인하기 전까지는 알 수 없습니다. Grok Build가 코드를 공개하며 로컬 실행 옵션을 강조한 것도 이런 맥락에서 의미가 있습니다.
참고자료:
- What xAI Grok Build CLI actually sends to xAI – cereblab
- xAI open-sources “Grok Build” on GitHub after massive data breach – THE DECODER
- xai-org/grok-build, now open source – Simon Willison
답글 남기기