턴 1에서 일러둔 규칙 하나를, 45턴 뒤 에이전트가 당당하게 어깁니다. 오래 굴려본 사람이면 익숙한 장면이죠. 모델이 멍청해진 게 아니라, 그 사이 맥락(컨텍스트)이 망가진 겁니다.

AI 교육 회사 Towards AI의 Louis-François Bouchard 팀이 자사 AI 튜터를 대상으로 수백 달러를 들여 컨텍스트 관리 실험을 돌렸습니다. 결론이 통념과 어긋났죠. 긴 대화가 길어질 때 맥락을 ‘요약해서 압축’하는 걸 당연한 기본값처럼 여겨왔는데, 프롬프트 캐싱이 깔린 요즘 환경에서는 그게 오히려 손해라는 것.

출처: Context Engineering in 2026: Why We Stopped Compacting Our Agent’s Context – Louis-François Bouchard

지난 글에서는 긴 대화를 요약·압축하면 사용자 지시가 17%밖에 살아남지 못한다는 실험을 다뤘습니다. 그렇다면 압축을 어떻게 다뤄야 하나. 이번 글이 그 후속입니다.

긴 대화에서 사라지는 사용자 지시, 압축 뒤 살아남는 건 17%

요약이 오히려 비싼 이유

프롬프트 캐싱은 이미 처리한 앞부분 대화를 저장해 두고, 다음 요청 때 그대로 재사용해 비용을 아끼는 방식입니다. 문제는 대화를 요약하는 순간 이 저장된 앞부분이 바뀐다는 것. 캐시는 앞부분이 그대로일 때만 값을 아껴주는데, 요약이 그 앞부분을 새 문장으로 갈아엎으니 아끼려던 걸 통째로 다시 계산하게 됩니다.

실험 결과도 같은 방향이었습니다. 요약·압축을 쓴 어떤 전략보다, 대화를 통째로 유지한 쪽이 비용과 속도, 기억 정확도에서 모두 앞섰죠. 아끼려고 넣은 요약이 되레 청구서를 키운 셈입니다.

진짜 이득은 ‘싸게 줄이는’ 쪽에 있었다

그렇다고 컨텍스트를 마냥 방치하라는 건 아닙니다. 팀이 찾은 진짜 절약은 다른 곳에 있었습니다. 매 도구 호출이 뱉어내는 출력의 크기를 일정하게 잘라준 것. 이렇게 하면 캐시가 의존하는 앞부분은 건드리지 않으면서 덩치만 줄일 수 있습니다.

효과는 분명했습니다. 턴당 비용이 38% 줄었고, 그 대가로 기억 성능이 떨어진 흔적은 측정되지 않았죠. 요약이라는 무거운 수술 대신, 군더더기만 걷어낸 겁니다.

압축은 죽지 않았다, 조건부가 됐다

그럼 요약·압축은 이제 쓰지 말아야 하나. 그건 아닙니다. 규칙이 바뀐 것뿐이죠. 압축은 기본값이 아니라, 구체적인 제약에 맞서는 대응 수단으로 내려앉았습니다.

Bouchard 팀은 압축을 꺼내기 전에 제약부터 이름 붙이라고 말합니다. 대화가 컨텍스트 창에 아예 안 들어가거나, 캐시된 입력 가격이 백만 토큰당 0.55달러쯤을 넘어서거나, 품질이 실제로 나빠지는 게 측정될 때. 이 세 상황은 각각 다른 해법을 가리킵니다.

마지막 당부가 인상적입니다. 무조건 자기 시스템에서 직접 재보라는 것. 그들의 프로덕션 기본 설정도 그럴듯해 보였지만, 아무것도 안 한 것보다 두 배 비쌌으면서 기억 점수는 38%에 그쳤습니다. 눈대중으로는 알 수 없는 차이라는 얘기죠.