에이전트 시스템의 비용과 지연시간을 줄일 때 프롬프트 캐싱(prompt caching)과 파인튜닝(fine-tuning)은 서로 대체재처럼 보이지만 실제로는 다른 병목을 해결한다. 캐싱은 반복되는 컨텍스트 계산을 줄이고, 파인튜닝은 반복되는 행동·형식·도메인 적응을 모델 가중치에 옮긴다.
한 줄 기준
| 문제 | 우선 검토할 방법 |
|---|---|
| 같은 시스템 프롬프트, 정책, 도구 정의, 문서 컨텍스트가 매번 반복된다 | 프롬프트 캐싱 |
| 출력 형식, 말투, 내부 규칙, 도메인 행동을 매번 길게 설명해야 한다 | 파인튜닝 |
| 긴 에이전트 루프에서 정적 지침과 특화 행동이 모두 반복된다 | 하이브리드 |
프롬프트 캐싱이 맞는 경우
프롬프트 캐싱은 모델 호출의 prefix나 이전 계산 상태를 재사용해 첫 토큰 지연(TTFT)과 입력 토큰 비용을 줄이는 방식이다. dont-break-cache가 보여주듯, 에이전트 루프에서는 정적 시스템 지침과 도구 정의를 캐시 친화적으로 배치하는 것만으로 비용과 지연시간이 크게 줄 수 있다.
다음 조건이면 캐싱부터 본다.
- 시스템 프롬프트가 크고 자주 바뀌지 않는다.
- RAG 문서, 운영 절차, 정책 텍스트가 반복적으로 들어간다.
- 고객지원처럼 유사 질문이 자주 들어온다.
- 모델 행동 자체는 괜찮고, 중복 계산 비용이 문제다.
- 변경되는 도구 결과와 사용자 입력을 정적 prefix 뒤쪽으로 분리할 수 있다.
캐싱은 구현이 빠르고 되돌리기 쉽지만, 동적 콘텐츠가 prefix 중간에 끼면 캐시가 깨진다. 도구 목록을 매 요청마다 바꾸거나, 현재 시간·검색 결과·실행 로그를 시스템 프롬프트 앞부분에 섞는 구조는 피해야 한다.
파인튜닝이 맞는 경우
llm-fine-tuning은 모델이 특정 행동, 형식, 용어, 문체를 계속 따르도록 만드는 방법이다. LoRA 같은 PEFT를 쓰면 전체 모델을 다시 학습하지 않고도 작은 어댑터로 반복 행동을 학습할 수 있다.
다음 조건이면 파인튜닝을 검토한다.
- 매 요청마다 긴 few-shot 예시를 넣어야만 원하는 JSON, SQL, 코드 스타일이 나온다.
- 브랜드 톤, 상담 정책, 내부 API 사용 패턴 같은 행동 일관성이 중요하다.
- 작은 모델을 특화해 대형 범용 모델 호출 비용을 낮추고 싶다.
- 반복되는 지시를 프롬프트에서 제거해 컨텍스트 창을 줄이고 싶다.
- 충분히 깨끗한 학습·검증 데이터와 평가 지표를 만들 수 있다.
파인튜닝은 캐싱보다 준비 비용이 크고, 데이터 품질에 민감하다. 자주 바뀌는 사실 지식 주입에는 보통 RAG나 캐싱이 낫다. 파인튜닝은 “무엇을 알아야 하는가”보다 “어떻게 행동해야 하는가”에 강하다.
하이브리드가 필요한 경우
프로덕션 에이전트는 대개 둘 다 쓴다.
파인튜닝된 소형 모델: 출력 형식, 도구 사용 습관, 도메인 말투
프롬프트 캐싱: 정적 시스템 지침, 도구 스키마, 반복 컨텍스트
RAG: 자주 바뀌는 문서와 최신 지식예를 들어 내부 지원 에이전트는 회사 답변 톤과 티켓 분류 형식을 파인튜닝으로 학습하고, 매번 들어가는 보안 정책과 도구 정의는 캐싱하며, 최신 제품 문서는 RAG로 가져오는 구성이 자연스럽다.
실무 체크리스트
- 비용 로그에서 반복 입력 토큰이 많은지 확인한다.
- 반복되는 내용이 정적 지식인지, 행동 규칙인지 분리한다.
- 정적 지식이면 캐시 가능한 prefix로 옮긴다.
- 행동 규칙이면 few-shot 없이도 일관되는지 평가한다.
- 일관성이 부족하고 데이터가 있으면 LoRA 등 PEFT를 실험한다.
- 캐싱과 파인튜닝 후에도 최신 문서가 문제라면 RAG를 결합한다.
- 변경 전후 TTFT, 전체 지연시간, 토큰 비용, 품질 지표를 함께 비교한다.
핵심은 “비용을 줄이고 싶다”에서 바로 파인튜닝으로 가지 않는 것이다. 중복 컨텍스트 비용이면 캐싱이 더 빠른 해법이고, 반복 행동 비용이면 파인튜닝이 더 오래 가는 해법이다.
관련 문서
- dont-break-cache — 에이전트 작업에서 프롬프트 캐싱 전략 비교 연구
- claude-code-tips-prompt-caching — Claude Code 장기 세션 비용 절감 전략
- llm-fine-tuning — LLM 파인튜닝 전체 가이드
- inference-caching — 프롬프트 캐시·KV 캐시·시맨틱 캐시 개념 정리
참고 자료
- Prompt Caching vs. Fine-Tuning: A Cost and Latency Decision Framework — Machine Learning Mastery (2026-08-10)