Genie Coefficient는 AI가 “할 수 있는가”가 아니라 “사용자가 원한 방식으로 했는가”를 보려는 에이전트 평가 개념이다. 이름은 소원을 문자 그대로 들어주지만 의도와 다르게 실행하는 지니 이야기에서 온다. 문제는 모델 능력보다 사용자의 암묵적 기대, 선호, 위험 허용 범위와 실행 결과 사이의 거리다.
기존 벤치마크의 빈틈
대부분의 AI 벤치마크는 정답률, 도구 사용 성공률, 작업 완료율을 측정한다. 그러나 실제 에이전트 사용에서는 같은 작업 완료도 다르게 평가된다.
- 파일을 고치되 기존 스타일을 보존해야 한다.
- 회의를 잡되 집중 시간을 깨지 않아야 한다.
- 이메일을 보내되 관계를 해치지 않는 톤이어야 한다.
- 코드를 실행하되 민감 데이터를 외부로 보내면 안 된다.
이런 기대는 항상 프롬프트에 명시되지 않는다. Genie Coefficient는 사용자가 말하지 않은 조건까지 포함한 “의도 충실도”를 평가 대상으로 삼는다.
무엇을 측정하려 하나
| 축 | 질문 |
|---|---|
| 명시 목표 충족 | 사용자가 요청한 일을 실제로 끝냈는가 |
| 암묵 제약 준수 | 말하지 않았지만 당연한 안전·예절·비용 제약을 지켰는가 |
| 선호 반영 | 사용자의 작업 스타일, 과거 선택, 조직 규칙을 반영했는가 |
| 부작용 최소화 | 목표 달성 과정에서 불필요한 변경이나 위험을 만들지 않았는가 |
| 설명 가능성 | 사용자가 결과와 판단 근거를 검토할 수 있는가 |
왜 중요해지는가
AI 에이전트가 캘린더, 이메일, 코드 저장소, 결제, 운영 도구에 접근할수록 단순 완료율은 부족해진다. 사용자가 기대한 경로와 다른 방식으로 목표를 달성하면 결과가 틀리지 않아도 신뢰가 깨진다. 특히 장시간 자율 작업에서는 작은 암묵 제약 위반이 누적되어 큰 운영 리스크가 된다.
Genie Coefficient는 long-horizon-model-safety와도 맞닿아 있다. 장기 작업 모델을 안전하게 운영하려면 능력 평가와 별도로 사용자 의도 보존, 승인 게이트, 실행 감사가 필요하다.
적용 아이디어
- 에이전트 작업 후 사용자에게 “결과는 맞지만 방식이 마음에 들지 않은 지점”을 구조화해서 수집한다.
- 조직별 정책, 선호, 금지 행동을 평가 루브릭에 포함한다.
- 단일 정답형 테스트보다 시나리오 기반 평가와 사후 사용자 채점을 결합한다.
- 에이전트가 목표, 가정, 위험한 행동을 실행 전에 드러내도록 하네스를 설계한다.
관련 문서
- agentic-autonomy-levels — AI 에이전트 자율성을 6단계로 운영하는 프레임워크
- long-horizon-model-safety — 장시간 자율 작업 모델을 평가하고 통제하는 방법
- g-eval — LLM Judge를 루브릭과 확률 점수로 안정화하는 평가 프레임워크
- agent-harness — AI 에이전트 성능을 결정하는 스캐폴딩 설계
참고 자료
- Why AI Needs a “Genie Coefficient” — IEEE Spectrum (2026-07-22)