요약 기능이든 챗봇이든 사내 글쓰기 도우미든, AI 기능을 만들어본 사람은 다 비슷한 벽에 부딪힙니다. 결과물을 읽어보면 분명 괜찮아 보이는데, 회의에서 누군가 “이게 잘 작동한다는 걸 어떻게 증명하죠?”라고 물으면 마땅한 답이 없습니다. 다들 결과물을 보고 감으로 판단할 뿐, 그 감을 뒷받침할 숫자는 아무도 믿지 않았죠.

이 틈을 메우는 방법 중 하나가 G-Eval입니다. 정답이 하나로 정해지지 않는 AI 생성 텍스트를, 꼼꼼한 사람 평가자가 매길 법한 점수에 가깝게 채점하는 방법입니다. 2023년 마이크로소프트의 양 리우 연구팀이 발표한 논문에서 처음 제안됐고, 이후 여러 LLM 평가 프레임워크의 핵심 채점 방식으로 자리 잡았습니다.

출처: G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment – Yang Liu et al., Microsoft

정답이 없는 글을 어떻게 채점할까

기존에 흔히 쓰이던 BLEU나 ROUGE 같은 지표는 “정답 예시”를 미리 준비해두고, AI가 만든 결과물이 그 정답과 얼마나 비슷한 단어를 썼는지 비교하는 방식이었습니다. 문제는 고객 응대 답변이나 긴 문서 요약, 챗봇의 대화 한 마디처럼 실제 서비스에서 나오는 대부분의 출력에는 애초에 “정답”이라 할 만한 게 데이터셋 어딘가에 존재하지 않는다는 점입니다. 같은 질문에도 좋은 답변은 여러 형태로 존재할 수 있으니까요.

그래서 최근에는 LLM 자체를 참조 없이도 판단할 수 있는 평가자로 쓰자는 시도가 늘었습니다. 다만 이런 LLM 기반 평가자들도 사람의 판단과 맞아떨어지는 정도가 기존 중간 규모 신경망 평가 모델보다 오히려 낮다는 문제가 있었습니다. G-Eval은 이 지점을 겨냥해 만들어진 방법입니다.

G-Eval의 3단계 구조

G-Eval은 세 가지 요소로 구성됩니다.

첫째, 평가 기준을 구체적으로 정의한 프롬프트입니다. “이 요약의 일관성을 1~5점으로 매겨줘”라고만 던지는 게 아니라, 일관성이 정확히 무엇을 뜻하는지 구체적으로 정의해 함께 줍니다.

둘째, 모델이 스스로 만들어내는 평가 절차입니다. 실제 채점 대상을 보기 전에, 주어진 과제와 기준만으로 “어떻게 채점할 것인지”를 단계별로 먼저 적어보게 합니다. 일관성을 확인하는 경우라면 모델은 대략 이런 절차를 스스로 만들어냅니다. 원문을 꼼꼼히 읽고 핵심 주제와 요점을 파악한다, 그다음 결과물을 원문과 비교해 핵심 요점을 다뤘는지, 논리적 순서로 제시했는지 확인한다, 마지막으로 그 기준에 따라 점수를 매긴다는 식입니다.

셋째, 실제 채점 단계입니다. 프롬프트와 모델이 만든 평가 절차, 그리고 실제 입력과 채점 대상 출력을 함께 모델에 넣습니다. 이때 최종 점수는 모델이 출력한 숫자를 그냥 읽는 게 아니라, 그 숫자 뒤에 있는 토큰 확률 분포를 활용해 더 세밀한 점수로 환산합니다.

왜 사람 평가에 더 가까운가

핵심은 채점 기준을 구체적으로 줄수록 모델의 판단도 더 정교해진다는 점입니다. 막연한 기준(“1점에서 5점 사이로 평가해줘”)만 주면 모델은 “그냥 봐서 괜찮아 보이나”라는 대략적인 인상에 의존하게 되고, 이는 평범한 결과물과 정말 뛰어난 결과물을 잘 구분하지 못합니다. 구체적인 기준은 모델에게 확인할 지점을 명확히 짚어주는데, 이건 사람 평가자를 일관되게 만드는 방법과 정확히 같은 원리입니다.

평가 절차를 모델이 스스로 만들게 하는 것도 중요합니다. 채점하기도 전에 구체적인 절차를 세우도록 강제하면, 모델이 “이 정도면 그럴듯하게 잘 쓴 글이네”라는 식으로 대충 패턴만 매칭하고 넘어가는 걸 막을 수 있습니다. 그리고 점수가 이상해 보일 때 이 절차를 그대로 읽어보면, 채점 모델의 판단이 어느 지점에서 사람의 판단과 갈렸는지도 추적할 수 있습니다.

실제로 논문에서는 GPT-4를 기반 모델로 쓴 G-Eval이 텍스트 요약 과제에서 사람 평가와 0.514의 스피어만 상관계수를 기록해, 기존 방법들을 큰 격차로 앞섰다고 보고합니다.

사람 대신 세운 심판에게도 편향은 있다

다만 G-Eval을 포함해 LLM을 심판으로 쓰는 방식(LLM-as-a-judge) 전체에는 몇 가지 알려진 편향이 있습니다.

먼저 응답이 놓인 순서에 따라 판단이 흔들리는 위치 편향이 있습니다. 두 결과물 중 어느 게 먼저 제시되느냐에 따라 품질과 무관하게 특정 위치를 더 선호하는 경향이죠. 또 자기 선호 편향도 있는데, 채점을 맡은 모델이 다른 모델의 출력보다 자기 자신이 만든 출력에 더 후한 점수를 주는 현상입니다. 마지막으로 장황함 편향은 내용이 실질적으로 같아도 더 길게 쓴 답변을 선호하는 경향으로, 프롬프트 설계만으로는 고치기 어렵고 모델이 학습 과정에서 이미 갖게 된 성향에 가까워 다루기가 더 까다롭다고 알려져 있습니다.

결국 G-Eval은 “AI가 만든 글이 얼마나 괜찮은가”라는 막연한 질문에 구조와 근거를 부여하는 방법이지만, 그 심판 역할을 맡은 모델 자체도 완벽하지 않다는 전제를 함께 이해할 필요가 있습니다.