ASSAY는 LLM 에이전트의 자연어 스킬 라이브러리를 경험적으로 평가하고, 태스크별로 도움이 안 되는 스킬을 숨기는 프레임워크다. 논문 “Not All Skills Help”의 핵심 주장은 명확하다. 스킬을 생성하는 일은 LLM 판단이 잘할 수 있지만, 그 스킬이 실제로 도움이 되는지 결정하는 일은 여러 태스크에서의 인과적 증거가 필요하다.
문제: 좋은 스킬도 어떤 태스크에서는 해친다
기존 스킬 시스템은 에이전트가 경험에서 얻은 규칙과 절차를 축적해 성능을 높인다. 하지만 모든 스킬이 항상 도움이 되는 것은 아니다. 어떤 스킬은 한 종류의 태스크에서는 이득이고, 다른 종류에서는 오히려 잘못된 행동을 유도한다.
전역 평균만 보면 이런 효과가 상쇄되어 보이지 않는다. 그래서 “나쁜 스킬을 전체 삭제”하는 방식보다, 현재 태스크에 맞지 않는 스킬을 추론 시점에 마스킹하는 방식이 필요하다.
ASSAY의 접근
| 단계 | 설명 |
|---|---|
| Skill generation | 경험에서 자연어 스킬을 생성한다 |
| Randomized masking | 개발 세트에서 스킬을 무작위로 가리고 성능 변화를 측정한다 |
| Causal attribution | 스킬별·태스크별 인과적 기여도를 계산한다 |
| Offline restructuring | 라이브러리 구조를 재정리한다 |
| Per-task suppression | 테스트 태스크에서 부정 효과가 예상되는 스킬을 숨긴다 |
이 구조는 agent-skills의 운영 품질을 평가 기반으로 끌어올리는 방법이다.
결과
논문 초록 기준 ASSAY는 AppWorld와 tau-bench에서 일관된 개선을 보고한다.
- AppWorld hardest split에서 DeepSeek-V3가 task-goal completion 69.3%를 기록했다.
- 이는 기존 대비 상대 개선 47.4%이며, 논문 기준 published methods 중 새로운 SOTA라고 보고된다.
- tau-bench retail에서 GPT-4.1은 8.7% 상대 개선을 보였다.
- ablation은 주된 이득이 전역 삭제가 아니라 태스크별 마스킹에서 나온다고 분석한다.
실무적 의미
스킬 라이브러리를 크게 만들수록 “더 많은 지침 = 더 좋은 에이전트”가 아니다. 실제 운영에서는 스킬별 적용 조건, 부작용, 태스크 매칭을 측정해야 한다. 특히 팀별 AGENTS.md, SKILL.md, 루틴 파일이 누적되는 코딩 에이전트 환경에서는 오래된 스킬이 새로운 작업을 방해할 수 있다.
ASSAY는 다음 작업에 유용한 관점을 제공한다.
- 스킬 추가 전후 eval을 구성할 때
- 같은 스킬이 어떤 태스크군에서만 성능을 높이는지 분석할 때
- 스킬 검색·라우팅·마스킹을 에이전트 하네스에 넣을 때
관련 문서
- agent-skills — AI 에이전트의 능력을 확장하는 스킬 시스템
- skillopt — 스킬 파일을 평가 기반으로 최적화하는 방법
- skillcomposer — 스킬 조합과 순서를 예측하는 연구
- skillspector — AI 에이전트 스킬 취약점 보안 스캐너
참고 자료
- Not All Skills Help: Measuring and Repairing Agent Knowledge — arXiv (2026-06-13)
- aiming-lab/assay — GitHub 저장소