SIA(Self-Improving AI)는 작업 에이전트의 하네스와 모델 가중치를 함께 업데이트하는 자기 개선 루프다. 논문은 기존 연구가 하네스 수정과 test-time training을 따로 다룬다고 보고, 피드백 에이전트가 두 축을 동시에 개선하는 구조를 제안한다.
핵심 구조
SIA는 세 종류의 에이전트로 설명된다.
| 구성 | 역할 |
|---|---|
| Meta-Agent | 작업 설명을 읽고 초기 Target Agent를 만든다 |
| Target Agent | 실제 과제를 풀고 실행 로그와 결과를 남긴다 |
| Feedback Agent | 로그를 분석해 하네스와 가중치 개선안을 적용한다 |
하네스 업데이트는 도구, 프롬프트, 재시도 로직, 탐색 절차를 바꾼다. 가중치 업데이트는 도메인 직관을 모델 내부에 학습시킨다. 논문은 두 접근을 결합한 SIA-W+H가 LawBench, GPU 커널 최적화, single-cell RNA denoising에서 scaffold-only 접근보다 나은 결과를 보였다고 보고한다.
오픈소스 구현
GitHub 구현체는 sia-agent 패키지와 CLI를 제공한다. sia run으로 built-in task를 실행하고, sia web으로 generation별 target agent 코드, 프롬프트, 개선 계획, 평가 점수를 시각화할 수 있다.
pip install 'sia-agent[claude]'
sia run --task gpqa --max_gen 5 --run_id 1왜 중요한가
코딩·연구 에이전트 성능은 모델만 키운다고 해결되지 않는다. 더 좋은 도구 사용 절차와 더 나은 도메인 모델이 함께 필요하다. SIA는 이 두 개선 경로를 하나의 루프로 묶으려는 시도라는 점에서 self-improving-agent-loops와 agent-rl-training-frameworks의 교차점에 있다.
관련 문서
- self-improving-agent-loops — 결과를 기억하고 다음 실행을 고치는 에이전트 구조
- agent-rl-training-frameworks — 에이전트 강화학습 프레임워크 선택 가이드
- agent-harness — 에이전트 하네스 엔지니어링
참고 자료
- SIA: Self Improving AI with Harness & Weight Updates — arXiv (2026-05-26)
- hexo-ai/sia — GitHub 공식 저장소