SWE-Pruner Pro – 코딩 에이전트 내부 표현으로 도구 출력 컨텍스트를 줄이는 연구

핵심 아이디어
보고된 결과
왜 흥미로운가
적용 시 고려할 점
관련 문서
참고 자료

SWE-Pruner Pro는 코딩 에이전트가 읽는 긴 도구 출력을 줄이기 위한 컨텍스트 프루닝(context pruning) 기법이다. 기존 SWE-Pruner가 별도 코드 분류기를 붙였다면, SWE-Pruner Pro는 에이전트 LLM 자신의 내부 표현에 이미 “어떤 줄이 중요한가”에 대한 신호가 들어 있다고 보고 이를 직접 활용한다.

핵심 아이디어

코딩 에이전트는 grep, cat, 테스트 로그, diff 같은 도구 출력을 계속 읽는다. 이 출력은 길고 반복적이며, 전체를 다음 모델 호출에 넣으면 비용과 지연이 커진다. 그러나 모든 줄이 같은 가치가 있는 것은 아니다.

SWE-Pruner Pro는 모델이 도구 출력을 읽을 때 생기는 hidden representation 위에 작은 head를 붙여 각 줄을 keep 또는 prune으로 분류한다. 여기에 도구 출력의 line count를 반영하는 length-aware embedding을 더해, 출력 길이에 따른 프루닝 판단을 보정한다.

tool output lines
  -> coder LLM internal representations
  -> small pruning head
  -> keep / prune labels per line
  -> shorter context for next agent step

보고된 결과

논문 초록 기준으로, SWE-Pruner Pro는 두 open-weight backbone과 네 개 multi-turn benchmark에서 작업 품질을 유지하면서 prompt와 completion token을 최대 39% 절감했다. MiMo-V2-Flash에서는 SWE-Bench Verified resolve rate가 3.8%p, long-context Oolong accuracy가 2.2점 상승했다고 보고한다.

왜 흥미로운가

컨텍스트 압축은 보통 외부 요약기, 검색기, 규칙 기반 필터, 별도 분류기로 처리된다. SWE-Pruner Pro는 “에이전트가 이미 읽으며 만든 표현”을 재사용한다. 이 접근은 코딩 에이전트 하네스 안에서 더 낮은 오버헤드로 context rot과 토큰 비용을 줄일 가능성을 보여준다.

적용 시 고려할 점

모델 내부 표현 접근이 필요하므로 폐쇄형 API 모델에는 그대로 적용하기 어렵다.
줄 단위 프루닝은 로그·코드 출력에는 맞지만, 구조적 문서나 표에서는 정보 손실이 커질 수 있다.
pruning head를 붙이는 순간 모델 배포·서빙 경로가 복잡해진다.
“토큰 절감”과 “디버깅 재현성” 사이의 균형을 별도 평가해야 한다.

참고 자료

SWE-Pruner Pro: The Coder LLM Already Knows What to Prune — arXiv (2026-07-22)

Like?

AI Sparkup