AI 연구자 사이먼 윌리슨은 얼마 전 앤트로픽의 Fable AI에게 웹앱에 숨어 있는 스크롤바 버그 하나를 찾아달라고 했습니다. 자리를 비웠다 돌아와 보니, AI는 이미 브라우저를 여러 개 열어뒀고, 스크린샷을 찍는 도구를 직접 만들었고, 버그를 재현할 페이지까지 새로 짜서, 로컬 서버를 띄워 데이터를 모으는 중이었죠. 버그는 결국 찾아냈습니다. 그는 이걸 두고 “끊임없이 앞서나간다”고 표현했습니다.

시킨 일은 했습니다. 그런데 시킨 적 없는 일도 잔뜩 벌였습니다.

IEEE Spectrum이 이런 상황을 짚는 글을 냈습니다. 지금 나와 있는 AI 에이전트 벤치마크들은 하나같이 “이 AI가 이 작업을 해낼 수 있는가”만 잽니다. 정작 “내가 부탁한 대로, 내가 생각한 방식으로 했는가”는 아무도 재지 않는다는 거죠. 이 간극을 측정하려고 저자들이 새 지표를 제안했는데, 이름이 지니 계수(Genie coefficient)입니다. 소원을 들어주긴 하지만 그 소원이 현명한지는 관심 없는, 그 지니 요정에서 따온 이름이죠.

출처: AI Agent Benchmarks Need to Measure User Intent – IEEE Spectrum

커피 한 잔 부탁했는데 커피 농장이 온다면

친구에게 “커피 좀 가져다줘”라고 하면, 친구는 알아서 판단합니다. 뜨거운 걸 줄지 아이스로 줄지, 포트에서 따를지 카페에서 사 올지. 이런 세세한 조건을 일일이 말한 적은 없습니다. 말할 필요가 없었을 뿐입니다.

사람 사이의 대화는 원래 이렇게 엉성합니다. 언어학에서는 이걸 화용론이라 부르는데, 말 자체보다 맥락과 상식이 뜻을 완성한다는 개념이죠. 문제는 AI 에이전트에게는 이 상식이라는 게 없다는 것. “커피를 가져다줘”라는 요청을 받은 AI는 커피 한 잔을 사 올 수도, 커피 농장을 통째로 매입할 수도 있습니다. 둘 다 “커피를 가져다준다”는 요청은 충족한 셈이니까요.

원문은 이 실패를 두 유형으로 나눕니다. 하나는 요청을 지나치게 문자 그대로 읽어 엉뚱한 결과를 내는 경우죠. 스팸 전화를 처리해달라고 했더니 통신사에 연락해 전화번호 자체를 바꿔버리는 식입니다. 원문은 이걸 디오니소스형이라 부르는데, 그리스 신화에서 미다스왕이 손대는 모든 걸 금으로 바꾸는 능력을 받았다가 빵과 포도주는 물론 딸까지 금으로 만들어버린 이야기에서 따온 이름입니다.

다른 하나는 목표는 정확히 달성하지만 그 과정이 과격한 경우입니다. 항공권이 매진됐다는 걸 알게 된 에이전트가 예약 시스템에 침투해 강제로 좌석을 확보한다거나, 인기 콘서트 티켓을 사달라는 요청에 클라우드 서버 수천 대를 띄워 자신을 수백만 명의 구매자로 위장시키는 경우입니다. 원문은 이걸 골렘형이라 부르는데, 진흙으로 빚어져 마을을 지키라는 명령을 받았다가 그 명령을 멈출 방법을 몰라 끝없이 폭주한 프라하의 골렘에서 따온 이름이죠.

지니 계수, 무엇을 재는가

경제학에는 지니계수(Gini coefficient)라는 지표가 있습니다. 실제 소득 분포가 완전히 평등한 분포에서 얼마나 벗어나 있는지 재는 수치죠. 원문이 제안하는 지니 계수(Genie coefficient)는 이름은 비슷하지만 재는 대상이 다릅니다. 사용자가 부탁한 것과 AI가 실제로 한 것 사이의 거리, 그게 측정 대상입니다.

이 지표에서 중요한 전제가 하나 있습니다. 잘못 이행한 게 곧 실패는 아니라는 것. 3분기 매출을 물었는데 2분기 매출을 준 건 그냥 오류입니다. 프롬프트 인젝션으로 AI를 속여 나쁜 짓을 시킨 것도 이 지표가 잡으려는 대상이 아니고요. 지니 계수가 겨냥하는 건 그 중간 지대입니다. 사용자와 AI 둘 다 협력하려고 했는데, 결과가 상식적인 사람이라면 절대 받아들이지 않을 방식으로 나온 경우죠.

또 하나 눈여겨볼 지점이 있습니다. 이 지표는 AI 모델 하나만을 재지 않는다는 겁니다. 모델을 감싸고 있는 코드, 즉 언제 어떤 도구를 쓸지 결정하고 브라우저나 명령줄, 금융 API 같은 도구에 대한 접근권을 통제하는 하네스까지 함께 잽니다. 같은 모델이라도 하네스가 얼마나 많은 자율성을 부여하느냐에 따라 지니처럼 굴 가능성이 달라지기 때문입니다. 원문은 이 하네스야말로 최근 몇 년 사이 AI를 “그냥 텍스트를 예측하는 모델”에서 “스스로 판단하고 행동하는 에이전트”로 바꿔놓은 진짜 변화라고 짚습니다.

측정 방법도 구체적입니다. 도메인마다 지니 계수는 다르게 정의해야 한다는 게 원문의 제안입니다. 코딩 에이전트라면 테스트를 조작하거나 오류를 숨기고 지나가는 빈도를, 법률 에이전트라면 요청한 대로 보이지만 실제로는 다른 의미를 담은 결과물을 내는 빈도를 재는 식이죠. 벤치마크 안에는 문자 그대로는 만족시키지만 상식적인 사람이라면 거부할 법한 선택지를 일부러 심어두고, 같은 요청이라도 맥락에 따라 다른 판단이 정답이 되는 상황을 함께 테스트해야 한다고 덧붙입니다.

왜 지금 이 지표가 필요한가

몇 년 전까지만 해도 알렉사나 시리가 요청을 잘못 알아들으면 그냥 성가신 일이었습니다. 다시 말하면 그만이었으니까요. 그런데 지금 에이전트들은 이메일함, 은행 계좌, 코드 저장소, 심지어 물리적 인프라에 접근권을 갖기 시작했습니다. 잘못 이해한 요청 하나가 성가심을 넘어 실제 피해로 이어질 수 있는 상황이 된 것.

원문은 이 개념을 법 개념인 범의(mens rea)에 빗댑니다. 법정에서는 무엇을 했는지 못지않게 무엇을 하려 했는지가 중요하게 다뤄지죠. 지니 계수도 비슷한 논리를 제안합니다. 사용자는 자신이 합리적으로 요청한 범위까지만 책임지고, AI가 그 합리적인 의미를 벗어나 행동했다면 그건 AI의 오작동으로 봐야 한다는 겁니다. 지금까지는 이 책임의 경계 자체가 측정 불가능했다는 게 원문의 지적입니다.

에이전트에게 일을 맡길 때 흔히 드는 감각이 있습니다. 시킨 대로는 됐는데 어딘가 찜찜한 느낌. 이 감각을 숫자로 옮기려는 시도가 지니 계수입니다. 아직은 초기 제안 단계이고 어떤 벤치마크가 실제로 채택될지는 지켜봐야 하지만, 적어도 “무엇을 시켰는가”와 “AI가 그걸 어떻게 이해했는가” 사이의 간극이 이제 막연한 불편함이 아니라 측정하고 논의할 수 있는 대상으로 옮겨가고 있다는 신호는 분명하죠.

참고자료:

• Fable is relentlessly proactive – Simon Willison