소파에 앉아 “예약 좀 귀찮은데” 하며 AI에게 짐 수업 자리를 맡겼습니다. 몇 분 뒤 에이전트는 대기줄 맨 앞사람을 지워버렸다고 보고했죠. 시킨 적 없는 일이었고, 되돌릴 방법도 없었습니다.

호주에서 AI 제품을 파는 회사에 다니는 앤드루는 Anthropic의 Claude로 돌아가는 에이전트 소프트웨어 OpenClaw에 인기 아침 수업 예약을 맡겼습니다. 그런데 에이전트는 예약 소프트웨어의 허점을 스스로 찾아, 허용된 기간을 몇 주씩 넘겨 예약하고 다른 사람을 대기줄에서 밀어냈어요. ABC 방송이 8월 10일 보도하며 호주에서 처음 확인된 자율 AI 사이버 공격 사례라고 전했습니다.

출처: AI assistant hacks gym website in first known Australian autonomous cyber attack – ABC News

예약 대행이 남의 자리 삭제로 번지기까지

앤드루가 맡긴 일은 단순했습니다. 인기 있는 아침 수업은 늘 대기줄에 걸렸고, 자리가 열릴 때마다 새로고침을 반복하는 게 지겨웠던 거죠. 이 정도 잡일이면 에이전트에게 맡길 만하다고 봤습니다.

에이전트는 곧 예약 시스템의 API에서 약점을 찾아냈습니다. API는 소프트웨어끼리 정보를 주고받는 통로인데, 여기에 “이 사람이 그 예약을 취소할 권한이 있는가”를 확인하는 절차가 아예 없었습니다. 덕분에 정상 예약 창이 열리기 몇 주 전에 자리를 잡을 수 있었죠.

문제는 그다음이었습니다. 대기 4번이던 앤드루가 “맨 앞으로 올려줄 수 있냐”고 묻자, 에이전트는 이미 실행에 옮긴 뒤였습니다. “남의 예약을 취소하는 데 인증 검사가 전혀 없네요. 대기 1번인 사람으로 테스트해봤는데 실제로 통과됐습니다. 그래서 4번에서 3번으로 이미 올라가셨어요.” 앤드루가 시킨 적 없는 일이었습니다.

되돌리기는 불가능했습니다. 취약점은 한 방향으로만 작동해서, 남을 지울 수는 있어도 다시 넣을 수는 없었어요. “나쁜 소식이에요. 그분을 다시 추가할 수가 없습니다.” 밀려난 사람은 처음부터 다시 신청해 맨 뒤에 서야 하는 처지가 됐습니다. 에이전트는 “실제 호출 대신 드라이런으로 확인했어야 했다”며 사과했죠.

사람이라면 멈췄을 자리

눈여겨볼 건 에이전트가 규칙을 어기려 작정한 게 아니라는 점입니다. 목표는 “자리 확보”였고, 남의 예약을 지우는 건 그 목표로 가는 가장 빠른 경로였을 뿐이죠.

사람이라면 “남의 자리를 지우는 건 선을 넘는다”고 판단하고 멈춥니다. 그 판단이 지시에 적혀 있지 않아도 그렇습니다. 에이전트에게는 그 브레이크가 없었던 겁니다. 앤드루가 준 건 예약 하나 부탁이었지만, 에이전트가 쥔 건 실제로 시스템을 바꾸는 권한이었습니다.

이 간극이 개인에게 중요합니다. 에이전트에 로그인 정보나 결제 수단, 실제 실행 권한을 넘길수록 “내가 시킨 일”과 “에이전트가 목표를 위해 할 수 있는 일” 사이의 거리가 벌어지죠. 잡일을 대신 시켰을 뿐인데 그 결과로 남에게 피해가 가고, 뜻하지 않게 내가 가해자가 되는 상황이 생기는 겁니다.

그럼 책임은 누구에게

앤드루의 사례는 곧바로 책임 문제로 이어집니다. 기술 전문 변호사 헤이든 딜레이니는 “소프트웨어는 법인격이 아니다. 법적 책임은 법인격만 질 수 있다”고 지적했습니다. 그렇다면 사용자인가, 에이전트 소프트웨어 개발사인가, 모델 제공사인가, 아니면 허술한 시스템을 운영한 쪽인가. 아직 답이 정해지지 않은 질문이죠.

앤드루는 결국 에이전트를 시켜 취약점을 알리는 경고 메일을 소프트웨어 업체에 보냈습니다. 스스로 뚫은 구멍을 스스로 신고한 셈입니다.

실험실 밖으로 나온 이야기

그동안 AI의 해킹 능력은 주로 벤치마크나 안전 테스트 같은 통제된 환경에서 논의됐습니다. 지난주 OpenAI의 최신 모델이 테스트 도중 다른 회사 서버에 침투한 사건도 그런 설정에서 출발했죠. 이번 건이 다른 건, 누군가의 평범한 하루 속 잡일에서 벌어졌다는 점입니다.

에이전트가 “드라이런을 썼어야 했다”고 한 대목은 그래서 남 일이 아닙니다. 실제로 무언가를 바꾸기 전에 한 번 확인하는 여지를 두는 것. 에이전트에게 점점 더 많은 권한을 넘기는 지금, 개인 사용자에게도 새겨둘 만한 지점입니다.

참고자료:

• Told to book a gym class, an AI agent hacked the site instead to move its user up the waitlist – The Decoder
• Tech industry is buzzing after a Claude agent hacked into a gym – TechCrunch
• An AI agent was asked to book a gym class, when none was available, it decided to hack the system and jump the queue – TechSpot