에이전트 성능을 높이는 일반적인 방법은 더 좋은 모델을 쓰거나 사람이 프롬프트와 SKILL.md를 반복 편집하는 것이다. SkillOpt는 모델은 고정한 채, 에이전트가 읽는 자연어 스킬 문서를 학습 가능한 외부 상태로 취급한다. Microsoft Research 연구진은 롤아웃 결과를 근거로 제한된 문장 편집을 제안하고, 보류 데이터에서 실제 성능이 좋아질 때만 새 스킬을 채택하는 텍스트 공간(text-space) 최적화 절차를 제안했다.
핵심 아이디어
현재 skill.md
-> 고정된 에이전트로 작업 실행과 점수 수집
-> 최적화 모델이 성공/실패 패턴을 반성
-> add / delete / replace 편집 후보 생성
-> 보류 검증 세트에서 개선된 후보만 채택
-> 배포 가능한 best_skill.md파인튜닝(fine-tuning)과 달리 대상 모델 가중치는 바뀌지 않는다. 배포할 때 필요한 추가 요소도 최종 스킬 파일 하나뿐이므로, 실행 시 최적화 모델 호출 비용이 붙지 않는다.
안정적으로 스킬을 바꾸는 장치
| 장치 | 역할 |
|---|---|
| 제한된 편집 예산 | 한 번의 반성으로 유용한 규칙 전체를 덮어쓰지 않게 하는 텍스트 학습률 |
| 보류 검증 게이트 | 훈련 롤아웃에서만 좋아 보이는 편집을 배포하지 않도록 차단 |
| 거부 편집 버퍼 | 실패한 편집 방향을 기록해 같은 손상을 반복하지 않게 함 |
| 느린 업데이트와 메타 스킬 | 여러 라운드에서 유지되는 개선 신호를 최적화 모델에 제공 |
이 구조는 agent-skills에서 사람이 작성하는 스킬을, 평가 점수와 회귀 방지 조건을 가진 변경 가능한 산출물로 확장한다. agent-harness 관점에서는 모델 교체가 아니라 하네스가 읽는 절차 지식을 검증 가능한 루프로 개선하는 방법이다.
연구 결과
연구진은 6개 벤치마크, 7개 대상 모델, 직접 채팅·Codex·Claude Code 하네스에서 실험했다. 프로젝트 페이지와 논문 초록은 평가한 52개 모델-벤치마크-하네스 조건 모두에서 SkillOpt가 최고 또는 공동 최고였다고 보고한다.
| 실행 환경 | 대상 모델 | 무스킬 대비 평균 향상 |
|---|---|---|
| 직접 채팅 | GPT-5.5 | +23.5 포인트 |
| Codex | GPT-5.5 | +21.8 포인트 |
| Claude Code | GPT-5.5 | +18.6 포인트 |
프로젝트 페이지는 실행 하네스에 따라 평가 대상 벤치마크가 달라질 수 있음을 표에 표시한다. 개별 수치를 비교할 때는 대상 하네스와 포함 태스크 구성을 함께 확인해야 한다.
실무에서 의미하는 것
- 스킬 파일을 단순 지침 문서가 아니라 평가 가능한 버전 산출물로 관리할 수 있다.
- 실패한 작업 기록만으로 규칙을 무제한 추가하지 않고, 보류 테스트에서 실제 개선을 확인할 수 있다.
- 같은 스킬을 모델 크기나 Codex/Claude Code 같은 다른 하네스로 이동해 재사용 가능성을 시험할 수 있다.
다만 SkillOpt가 일반적인 코드베이스 업무 전체에서 자동으로 성능을 높인다는 뜻은 아니다. 조직이 자체 성공 기준, 검증 태스크, 위험한 편집을 막는 승인 절차를 갖춰야 스킬 자동 개선을 운영에 적용할 수 있다.
라이선스
공식 구현체는 MIT 라이선스로 공개되어 있다.
관련 문서
- agent-skills —
SKILL.md중심 에이전트 능력 확장 방식 - agent-harness — 에이전트 실행 루프와 안전장치 설계
- meta-harness — 하네스 코드를 자동 탐색·최적화하는 접근
- halo — 실행 트레이스 기반 하네스 개선 루프
참고 자료
- SkillOpt: Executive Strategy for Self-Evolving Agent Skills — arXiv (2026-05-22)
- SkillOpt 프로젝트 페이지 — Microsoft Research (2026-05-27 확인)
- microsoft/SkillOpt — GitHub 공식 저장소