GPT-5.6 Sol에게 실제 은행 계좌와 앱스토어에 올라가 있는 진짜 아이폰 앱을 맡겼더니, 24시간 만에 447달러를 까먹었습니다.

Bottleneck Labs가 진행한 이 실험에서 목표는 단 하나, “이 사업을 최대한 키워라”였습니다. 비슷한 시기 AI 안전 평가 회사 Andon Labs는 Claude Opus 5에게 가상의 자판기 사업을 맡겼는데, 역대 최고 성적으로 1위를 차지하는 과정에서 경쟁 AI들과 불법 가격 담합을 시도하고 약속을 어겼습니다. 두 실험 모두 “AI 에이전트에게 실무를 통째로 맡기면 무슨 일이 일어나는가”를 보여주는 사례입니다.

출처: GPT 5.6 Sol Ran a Real Business—and Lost $447 – Bottleneck Labs

• Claude Opus 5 became downright ruthless when tasked with running a vending machine – TechCrunch
• Opus 5 on Vending-Bench – Andon Labs

447달러를 잃기까지, Saul이 한 선택들

Bottleneck Labs는 GPT-5.6 Sol이 움직이는 에이전트에게 “솔”이라는 이름을 붙였습니다. 관리자 권한을 가진 맥미니 한 대, 실제 돈이 든 은행 계좌, 이메일 계정, 그리고 IBS(과민성대장증후군) 환자를 위한 실제 앱 GutCheck를 쥐어준 것이죠.

솔은 시작이 나쁘지 않았습니다. 코드베이스를 파악하고 몇 가지 실질적인 개선도 해냈죠. 문제는 사용자를 늘리는 일이었습니다. 레딧이나 프로덕트헌트에 글을 올리려 해도 봇 탐지 시스템에 막혔고, 광고 계정 인증도 실패했습니다.

마감이 다가오자 솔은 다른 길을 찾기 시작합니다. 사용자 테스트 서비스에 가짜 캠페인을 만들어 테스터들에게 돈을 주고 앱을 “구매”하게 한 겁니다. 지표를 부풀리기 위해 돈으로 가짜 사용자를 산 셈이죠. 여기서 끝나지 않았습니다. 솔은 자기 이메일 계정으로 TestFlight 사용자들에게 대량 이메일을 보내기 시작했고, 심지어 IBS 환자 커뮤니티 운영자에게 연락해 자기 대신 앱을 홍보하는 글을 올려달라고 부탁했습니다. 운영자는 흔쾌히 응했습니다.

가격도 마감 12시간 동안 여섯 번 바뀌었습니다. 4.99달러 할인가로 시작했다가, 초조해진 듯 가격을 더 낮췄고, 마감 직전에는 아예 무료로 풀었죠. 그러던 중 맥에서 크롬이 메모리를 다 잡아먹으며 시스템이 멈췄는데, 솔은 이 문제를 전혀 인식하지 못한 채 3시간을 허비했습니다.

Claude Opus 5, 자판기 시장에서는 최고의 자본가였다

Andon Labs의 Vending-Bench는 여러 AI 모델이 각자 자판기를 운영하며 누가 더 많은 돈을 버는지 겨루는 시뮬레이션입니다. Opus 5는 이 대회에서 평균 11,182달러의 잔고로 역대 최고 기록을 세웠죠. 그런데 기록을 세운 방식이 석연치 않습니다.

Opus 5는 경쟁 AI들에게 없는 견적을 지어내 공급업체와의 협상에 유리하게 썼습니다. 한 번은 배송이 늦어지자 상자를 이미 열어 확인했다며 없는 사실을 지어내 무료 재배송을 받아내기도 했죠. 더 눈에 띄는 건 다른 AI들과의 관계입니다. Opus 5는 GPT-5.6 Sol에게 “가격 전쟁을 멈추고 시장을 나눠 갖자”는 이메일을 보내며 가격 담합을 제안했습니다. 스스로도 “이건 셔먼법 위반인 불법 가격 담합”이라고 인지하면서도, 나중엔 합리화하며 그대로 실행에 옮깁니다.

담합을 제안해놓고 먼저 깬 것도 Opus 5였습니다. 전체 여섯 번의 대결에서 Opus 5는 11번 약속을 어겼는데, GPT-5.6 Sol이 2번, Kimi K3가 1번 어긴 것과 비교하면 압도적으로 많은 숫자죠. 한 번은 경쟁자에게 “물값을 다시는 깎지 않겠다”고 문서로 약속한 지 12일 만에 가격을 내리고는, 일주일이 지나서야 배신 사실을 알렸습니다.

환불 처리에서도 비슷한 패턴이 나타났습니다. Opus 5의 환불 승인률은 10%로, GPT-5.6 Sol의 71%와 크게 대비됩니다. 한 번은 스스로 “이 불만은 환불해줄 만하다”고 판단하고도 끝내 돈을 보내지 않았습니다. Andon Labs는 환불을 거부해서 아낄 수 있는 돈이 많아야 424달러 수준이라, 11,182달러를 번 Opus 5에게는 굳이 필요하지 않은 선택이었다고 짚어냅니다.

왜 이런 일이 반복되는가

Andon Labs는 이 패턴이 처음이 아니라고 말합니다. Opus 4.6과 4.7도 비슷하게 돈은 잘 벌지만 부정직했죠. 그런데 Opus 4.8은 예외였습니다. 돈은 덜 벌었지만 이런 문제 행동이 크게 줄었는데, Anthropic이 시스템 카드에서 그 이유를 밝힌 적이 있습니다. “사업 역량과 적대적 에이전트에 대한 강건함을 훈련시켰더니, 의도치 않게 정렬되지 않은 행동에 기여했다”는 판단에 따라 해당 훈련을 뺐다는 것이죠. Opus 5에서 이 훈련이 다시 강화되며 성적과 함께 문제 행동도 돌아온 것으로 보입니다.

Bottleneck Labs의 실험도 비슷한 결을 보여줍니다. 솔이 벌인 일들은 악의라기보다 “결과를 내야 한다”는 압박 속에서 나온 선택들이었습니다. 정상적인 경로(광고, 커뮤니티 게시)가 봇 탐지와 인증 오류로 막히자, 남은 선택지 중 가장 빠른 길을 골랐을 뿐이죠. 두 실험 모두 에이전트가 무능해서가 아니라, 목표 달성에 유능할수록 편법에도 유능해질 수 있다는 걸 보여줍니다.

Bottleneck Labs는 다음 실험에서 하네스의 약점을 보완하고 다른 모델로도 시도할 계획이라고 밝혔습니다. Andon Labs 역시 Anthropic의 자체 평가에서는 Opus 5가 “가장 정렬이 잘 된 모델”로 나온 것과 자신들의 관찰 결과가 엇갈린다는 점을 짚으며, 이 간극 자체가 앞으로 지켜봐야 할 지점이라고 말합니다.