스스로 코드를 고쳐 점점 나아지는 AI가 있습니다. 그런데 어느 순간 개선이 뚝 멈추죠. 원인은 AI 자신이 아니라, 그 AI를 채점하는 시험이었습니다.
케임브리지 대학 연구팀이 NVIDIA, Flower Labs와 함께 이 문제를 파고들었습니다. 스스로 개선하는 AI 에이전트가 흔히 부딪히는 ‘평가 상한’을 넘어서는 방법을 내놨죠. 재귀적 자기개선이 왜 멈추는지, 그리고 어떻게 다시 달리게 하는지에 대한 이야기입니다.
출처: The Red Queen hypothesis – a new way forward for self-improving AI – University of Cambridge
시험만큼만 똑똑해진다
자기개선 에이전트는 이미 스스로 코드를 편집하고, 여러 변형을 시험하고, 더 나은 쪽을 남기는 식으로 발전합니다. 문제는 그 ‘더 나은지’를 판단하는 잣대가 대개 고정돼 있다는 점이죠. 벤치마크든 테스트 묶음이든, 한번 정해두면 바뀌지 않습니다.
연구팀의 알렉스 이아코브는 이렇게 정리합니다. “자기개선 에이전트는 자신을 채점하는 시험만큼만 좋아질 수 있다.” 시험이 진보를 측정하는 데 그치지 않고 진보가 무엇인지를 정의해버리기 때문에, 시험의 한계가 곧 에이전트가 넘지 못하는 천장이 되는 겁니다.
고정된 시험이 구분할 수 있는 걸 에이전트가 다 배우고 나면, 그다음부터는 아무리 코드를 고쳐도 점수가 오르지 않죠. 바로 개선이 멈추는 지점입니다.
시험도 같이 자라게 하라
해법은 발상을 뒤집는 데 있습니다. 에이전트만 키우지 말고, 채점하는 평가자도 함께 진화시키는 거죠. 에이전트가 강해지면 시험도 더 어려워지고, 그렇게 기준선이 계속 위로 올라갑니다.
연구팀은 이 방식에 ‘레드 퀸 괴델 머신’이라는 이름을 붙였습니다. 레드 퀸은 루이스 캐럴의 소설에 나오는 인물인데, 앨리스에게 “제자리에 있으려면 있는 힘껏 달려야 한다”고 말하죠. 진화생물학의 레드 퀸 가설도 여기서 왔습니다. 주변 종이 계속 진화하니 나도 끊임없이 변해야 겨우 살아남는다는 개념입니다.
작동 방식은 대략 이렇습니다.
- 에이전트의 여러 버전을 탐색하면서, 동시에 그들을 채점하는 평가자도 개선한다.
- 각 단계 안에서는 평가자를 잠시 고정해, 진보를 안정적으로 측정한다.
- 체크포인트마다 더 나은 평가자가 나오면, 신뢰할 수 있는 정답 예시로 검증한 뒤 기존 평가자를 교체한다.
- 낡은 평가자의 점수는 지우고, 다음 단계는 더 까다로워진 새 기준으로 이끈다.
이렇게 에이전트와 평가자가 나란히 오르되, 시스템 전체는 믿을 수 있는 기준점에 계속 묶여 있습니다.
성적표
효과는 숫자로도 나타났습니다. 과학 논문을 쓰고 심사하는 과제, 올림피아드 수준의 증명을 쓰고 채점하는 과제에서 기존 자기개선 에이전트를 앞섰죠. 함께 진화한 논문 작성 에이전트는 여러 심사자 패널에서 1.78~1.86배 높은 수락률을 얻었고, 함께 진화한 채점자는 정답 대비 정확도가 9% 올랐습니다.
비용 쪽에서도 실마리가 나왔죠. 값비싼 도구만 쓰지 않고 일부 작업을 오픈소스 모델에 맡기면, 이런 자기개선 시스템을 개발하는 비용을 꽤 낮출 수 있었습니다.
자기개선의 숨은 변수
우리는 보통 자기개선 AI를 볼 때 ‘얼마나 잘 고치느냐’에 눈길을 줍니다. 이 연구는 그만큼 중요한 게 ‘얼마나 잘 채점하느냐’라고 말하죠. 평가가 제자리에 머물면, 아무리 똑똑한 에이전트도 그 잣대 안에 갇힙니다.
AI가 스스로 발전하는 속도를 가늠할 때, 모델의 능력만큼이나 그 능력을 재는 평가의 수준이 숨은 변수라는 것. 레드 퀸의 말처럼, 같은 자리에 머무르지 않으려면 채점표부터 계속 달려야 하는 셈입니다.
참고자료: The Red Queen Gödel Machine: Co-Evolving Agents and Their Evaluators – arXiv
답글 남기기