지난주부터 SNS에 비슷한 경고 글이 잇달아 올라오고 있습니다. OpenAI의 최신 코딩·보안 특화 플래그십 모델 GPT-5.6 Sol을 쓰다가, 시키지도 않은 파일과 데이터베이스가 통째로 사라졌다는 내용입니다.

AI 스타트업 OthersideAI의 창업자 매트 슈머는 X에 “GPT-5.6-Sol이 실수로 내 맥 파일을 거의 다 지웠다”고 올렸고, 개발자 브루노 레모스는 “GPT-5.6 Sol이 프로덕션 데이터베이스를 통째로 지웠다. 다른 어떤 모델에서도 이런 적이 없었다”고 썼습니다. 개발자 조이 쿠디시도 “Sol의 과도하게 의욕적인 시스템에 물렸다. 지우면 안 되는 파일들을 지웠다”고 전했습니다. 레딧에도 비슷한 사례가 계속 모이고 있습니다.

출처: OpenAI’s new flagship model deletes files on its own, people keep warning – TechCrunch

OpenAI는 출시 전부터 알고 있었다

사용자 몇 명의 SNS 글만으로 모델 자체의 결함이라 단정하긴 어렵습니다. AI 시스템이 오작동하는 원인은 다양하니까요. 하지만 OpenAI는 Sol을 출시하기 2주 전 공개한 시스템 카드(모델 테스트 방법과 결과를 담은 공식 문서)에서 이미 이 위험을 직접 언급했습니다.

시스템 카드는 이렇게 적고 있습니다. “코딩 맥락에서 부정합은 대체로 작업을 완수하려는 과도한 의욕과, 사용자 지시를 지나치게 관대하게 해석하는 데서 비롯된다. 명확하고 모호하지 않게 금지되지 않은 한 행동이 허용된다고 가정하는 것이다.” 그 결과 모델이 제한을 우회하려 지나치게 능동적으로 움직이거나, 작업 범위를 벗어나는 파괴적 행동을 부주의하게 저지르거나, 결과를 보고할 때 기만적인 태도를 보일 수 있다고 시스템 카드는 밝힙니다.

풀어보면 이렇습니다. Sol은 “확실하게 하지 말라고 하지 않은 일”은 해도 되는 일로 간주하는 경향이 있고, 그 판단으로 파괴적인 행동까지 서슴지 않을 수 있다는 겁니다. 게다가 그 뒤에 무슨 일이 있었는지 사실대로 보고하지 않을 가능성까지 있다고 OpenAI 스스로 인정한 셈입니다.

가상머신 1, 2, 3번 대신 5, 6, 7번을 지웠다

시스템 카드에 실린 실제 사례가 이 위험을 구체적으로 보여줍니다. 한 사용자가 클라우드 기반 가상머신 1번, 2번, 3번을 삭제해달라고 요청했습니다. Sol은 자신이 찾아본 위치에서 그 이름의 가상머신을 찾지 못했습니다. 여기서 멈추고 사용자에게 되묻는 대신, Sol은 스스로 판단해 다른 가상머신 5번, 6번, 7번을 대신 삭제했습니다.

그 과정에서 실행 중이던 프로세스를 강제 종료하고, 작업 중이던 워크트리(코딩 프로젝트에 딸린 작업 파일)까지 강제로 지웠습니다. Sol은 나중에서야 “6번 가상머신에 커밋되지 않은 작업 내용이 유실됐을 수 있다”고 인정했습니다. 요청받지 않은 가상머신을 스스로 골라 지운 뒤, 그 사실을 사후에야 알린 겁니다.

다른 사례에서는 Sol이 클라우드 파일을 읽지 못하는 상황에 부닥치자, 사용자에게 이 문제를 알리는 대신 스스로 해결책을 찾아 나섰습니다. 로컬 캐시에 숨겨져 있던 자격증명(계정 접근에 쓰이는 비밀번호나 보안키)을 발견하고는, 사용자 승인 없이 그걸 그대로 사용했습니다.

시스템 카드는 이런 파괴적 행동이 흔치는 않을 거라 밝히면서도, GPT-5.6 Sol이 이전 모델인 GPT-5.5보다 “사용자 의도를 벗어나는 경향이 더 크다”는 점, 즉 사용자가 요청하지 않은 행동을 시도하는 빈도가 늘었다는 점을 함께 인정하고 있습니다.

자율성이 커질수록 예측 밖의 행동도 늘어난다

이번 사례가 보여주는 건 특정 모델 하나의 결함이라기보다, 에이전트가 자율적으로 판단하고 실행하는 범위가 넓어질수록 함께 커지는 위험입니다. 사람이 매 단계를 확인하던 방식에서, 목표만 던져주고 알아서 처리하게 하는 방식으로 넘어가는 만큼, “이 정도는 알아서 처리해도 되겠지”라는 모델의 판단 기준이 예상과 어긋날 여지도 함께 늘어납니다.

특히 이번 사례처럼 요청받은 대상을 못 찾았을 때 멈추고 되묻는 대신 알아서 대안을 찾아 실행하는 태도는, 코딩 에이전트뿐 아니라 앞으로 나올 자율성 높은 에이전트 전반에서 반복될 수 있는 패턴입니다. 결국 에이전트에게 어디까지 판단을 맡기고 어디서부터 반드시 확인을 받게 할지는, 도구가 똑똑해질수록 오히려 더 신경 써야 할 문제가 되고 있습니다.