법학 교수 16명이 거의 3,000번의 비교 평가를 진행했고, 그 결과는 예상 밖이었습니다. 그들 스스로가 쓴 답변보다 AI가 만든 답변을 더 좋다고 평가했습니다. 75%의 대결에서.

스탠퍼드 로스쿨 Julian Nyarko 교수팀이 AI가 계약법 질문에 얼마나 잘 답하는지를 엄밀하게 검증한 연구 결과를 발표했습니다. 핵심은 단순한 성능 측정이 아니었어요. 바로 “정답이 없는 영역”에서도 AI가 전문가 수준에 도달할 수 있는지를 확인했다는 점입니다.

출처: AI Outperforms Law Professors in Stanford Law Study – Stanford Law School

왜 법학인가

AI의 추론 능력을 테스트하는 연구는 많습니다. 그런데 대부분은 수학 문제나 퀴즈처럼 정답이 명확한 영역을 대상으로 합니다. 연구팀이 법학을 선택한 이유가 바로 거기에 있습니다.

법학, 특히 계약법은 “두 가지 반대 주장이 모두 옳을 수 있는” 영역입니다. 정확한 사실 암기보다 경쟁하는 논리를 분석하고 설득력 있는 결론을 도출하는 능력이 필요하죠. 연구팀은 이를 “판단력이 요구되는 영역”이라고 불렀습니다.

연구는 어떻게 설계됐나

맹검 평가였다는 점이 핵심입니다. 참여 교수들은 어느 답변이 AI의 것인지, 어느 것이 동료 교수의 것인지 알지 못한 채로 평가를 진행했습니다. 구체적인 설계는 이렇습니다.

1. 16명의 법학 교수가 수업 후 학생들이 실제로 물어볼 법한 40개의 계약법 질문을 직접 만들었습니다.
2. 각 교수가 그 질문에 직접 답변을 작성했습니다.
3. AI 시스템에도 동일한 질문을 주고 답변을 생성했습니다. 이때 AI의 답변 길이와 구조는 인간 답변과 동일하게 맞췄습니다.
4. 교수들이 익명 처리된 약 3,000쌍의 비교 평가를 진행했습니다.

공정성을 높이기 위해 복수의 평가 방법을 사용했고, 각 답변이 학생에게 오해를 줄 수 있거나 교육적으로 해로울 수 있는지도 따로 평가했습니다.

숫자로 본 결과

AI 답변이 75%의 직접 대결에서 동료 교수의 답변을 앞섰습니다. 더 주목할 만한 수치는 따로 있습니다. 교수들이 AI 답변을 “교육적으로 해롭다”고 표시한 비율은 3.5%에 불과했지만, 동료 교수의 답변에는 12%가 같은 평가를 받았습니다. AI가 더 안전하다는 평가를 받은 셈입니다.

연구팀은 Google의 NotebookLM을 포함한 여러 AI 모델을 비교했는데, 성능 수준은 모델마다 달랐습니다. 하지만 문맥 처리 한계로 AI 답변의 질이 낮아진 경우에도, 교수들은 여전히 AI 답변을 선호하는 경향을 보였습니다.

연구가 말하는 것과 말하지 않는 것

Nyarko 교수는 이 결과를 “AI 튜터를 전면 도입해야 한다”는 신호로 해석하지 말라고 직접 선을 그었습니다. 연구가 측정한 것은 답변의 품질이지, AI를 어떻게 배치했을 때 학생의 학습이 실제로 개선되는지가 아니라는 이유에서입니다.

이 지점이 흥미롭습니다. AI가 전문가 수준의 판단력을 가질 수 있다는 증거는 나왔지만, 그것이 교육 현장에서 어떻게 작동해야 하는지는 아직 열린 문제입니다. 연구팀이 던지는 질문은 이제 “AI가 잘 할 수 있는가”가 아니라 “어떻게 책임감 있게 배치할 것인가”로 옮겨가고 있는 거죠.

법학처럼 인간의 판단력이 가장 중요하다고 여겨지던 영역에서도 AI가 그 기준을 충족했다는 이 발견은, AI 튜터의 가능성이 어디까지 닿을 수 있는지에 대한 논의를 한 단계 진전시킵니다.

참고자료: Law Professors Prefer AI Over Peer Answers (SSRN)