개발자가 직접 코드로 짜던 것들이 있습니다. 메모리 관리, 성능 추적, 검증 파이프라인. AI 에이전트가 제대로 작동하려면 이런 부품들이 필요한데, 지금까지는 사람이 설계해야 했습니다. Meta의 새 논문은 그 역할을 AI 스스로 해낸 실험을 담고 있습니다.
Meta FAIR·UBC 등 공동 연구팀이 2026년 3월 arXiv에 공개한 논문 “Hyperagents”는 태스크를 수행하는 에이전트와 그 에이전트를 개선하는 메타 에이전트를 하나의 수정 가능한 코드베이스로 통합한 새로운 프레임워크를 소개합니다. 핵심은 단순히 에이전트가 더 잘 학습한다는 게 아니라, ‘어떻게 개선할 것인가’라는 개선 방식 자체를 스스로 바꿀 수 있다는 점입니다.
출처: Hyperagents – arXiv (Meta FAIR·UBC 공동 연구)
기존 자기개선 AI의 한계
AI 에이전트가 스스로를 개선하는 연구는 오래됐습니다. 2025년 등장한 Darwin Gödel Machine(DGM)은 코딩 도메인에서 SWE-bench 성능을 20%에서 50%까지 끌어올리며 주목받았죠.
그런데 DGM에는 구조적 한계가 있었습니다. 에이전트를 개선하는 메타 메커니즘 자체는 사람이 설계한 고정 코드였습니다. 새로운 도메인에 적용하려면 그 메타 메커니즘을 다시 사람이 손봐야 했고, 결국 “누가 개선하는 자를 개선하는가”라는 문제는 해결되지 않은 채였습니다.
HyperAgents: 개선 방식 자체를 수정하다
HyperAgents(DGM-H)는 이 구조를 바꿉니다. 태스크 에이전트(문제를 푸는 코드)와 메타 에이전트(태스크 에이전트를 수정하는 코드)를 하나의 수정 가능한 프로그램으로 통합합니다.
결정적 차이는 메타 에이전트 코드 역시 수정 대상이 된다는 점입니다. 시스템이 스스로 개선 루틴을 바꿀 수 있다는 뜻이고, 논문은 이를 메타인지적 자기수정(metacognitive self-modification) 이라고 부릅니다.
작동 방식은 세 단계 루프로 이해할 수 있습니다.
- 태스크 실행: 에이전트가 주어진 문제를 푼다
- 평가 피드백: 테스트·시뮬레이션으로 성능을 수치화한다
- 메타인지적 자기수정: 태스크 코드와 개선 로직 모두를 수정하고, 성능이 오른 버전은 아카이브에 쌓아 다음 수정의 발판으로 삼는다
기존 DGM이 2번 루프까지라면, DGM-H는 3번 루프를 추가한 구조입니다.
에이전트가 스스로 만들어낸 것들
연구팀은 DGM-H를 코딩, 논문 리뷰, 로보틱스 보상 함수 설계, 수학 올림피아드 채점이라는 서로 다른 4개 도메인에서 실험했습니다.
결과에서 눈길을 끄는 건 성능 수치보다 에이전트가 자발적으로 만들어낸 것들입니다. 학습 과정에서 지시받지 않았음에도 다음과 같은 컴포넌트들이 코드에 등장했습니다.
- 영속 메모리: 과거 결과와 가설을 저장·참조하는 시스템
- 성능 추적 모듈: 세대별 점수 이력과 이동평균을 계산하는 분석 코드
- 다단계 검증 파이프라인: 논문 리뷰 도메인에서 스스로 구조화한 의사결정 체계
- 도메인 지식 베이스: 로보틱스 도메인에서 보상 함수 설계를 위해 누적한 환경 제약 정보
AI 에이전트 개발자라면 낯익은 목록입니다. 지금까지 사람이 직접 설계하고 코딩해온 컴포넌트들이 자동으로 생성된 셈입니다.
개선 능력이 도메인을 넘어 전이된다
이 연구에서 특히 주목할 결과는 도메인 간 전이입니다. 논문은 ‘improvement@k(imp@k)’라는 지표를 도입해 “에이전트가 k번의 수정 후 얼마나 나아지는가”를 측정했습니다.
논문 리뷰·로보틱스 도메인에서 학습을 마친 메타 메커니즘을 수학 올림피아드 채점이라는 전혀 다른 도메인에 그대로 옮겨 적용했을 때, 기존 DGM의 메타 메커니즘은 imp@50 = 0.0, 즉 50번의 수정 후에도 성능 향상이 없었습니다. 반면 DGM-H의 학습된 메타 메커니즘은 imp@50 = 0.630을 기록했습니다. 개선하는 방법 자체가 도메인에 종속되지 않고 범용적으로 작동한다는 걸 보여준 결과입니다.
에이전트 연구의 어디쯤에 있는가
AI 에이전트 연구는 지금까지 “어떻게 더 잘 실행할 것인가”에 집중해왔습니다. HyperAgents는 거기서 한 층을 더 올립니다. 실행이 아니라 개선 방식의 진화를 다루는 거죠.
Cobus Greyling은 이를 에이전트가 인프라의 소비자에서 생산자로 전환하는 흐름으로 해석합니다. 개발자가 손으로 짜던 하네스(harness) 컴포넌트들을 에이전트 스스로 진화시켜 만들어냈다는 관점인데, 실험 결과가 이를 뒷받침합니다.
물론 논문은 이 시스템이 모델이 생성한 코드를 실제로 실행하는 구조라는 점에서 안전 문제도 명시적으로 다룹니다. 샌드박스 격리, 변경 이력 추적, 인간 감독 등이 필수적이라고 강조하죠. 개방형 자기수정 시스템이 벤치마크에만 특화된 방향으로 최적화될 수 있다는 위험도 언급합니다.
자기개선 AI의 구조적 한계를 어떻게 풀었는지, 그리고 어떤 새로운 문제가 생겨났는지의 상세한 실험 결과는 원문 논문에서 확인할 수 있습니다.
참고자료: HyperAgents by Meta. When Agents Engineer Their Own Harness – Cobus Greyling, Medium
답글 남기기