Frugon은 LLM 호출 로그를 로컬에서 분석해 “어디서 돈이 새는지” 보여주는 오픈소스 CLI다. OpenAI request/response 형식의 JSONL 파일을 입력으로 받고, 모델 다운시프트, 캐시 적용, 배치 처리, 반복 프롬프트 제거 같은 비용 절감 후보를 찾아낸다.
동작 방식
Frugon은 두 가지 방식으로 로그를 만든다.
# 프록시 캡처
uv tool install frugon
frugon capture --out ./logs.jsonl
# 분석
frugon analyze ./logs.jsonl프록시 방식은 앱의 base_url을 로컬 shim으로 바꿔 실제 provider 호출을 그대로 전달하면서 JSONL 한 줄씩 저장한다. 이미 로그가 있다면 {request, response, usage} 형태의 JSONL을 직접 넣어도 된다.
주요 분석 포인트
| 항목 | 설명 |
|---|---|
| 모델 과사용 | 간단한 ETL·분류·요약에 고가 모델을 쓰는 호출 탐지 |
| 캐시 기회 | 반복되는 system prompt, 긴 정적 문서, 도구 설명의 재사용 가능성 계산 |
| 배치 후보 | 비동기 처리가 가능한 호출을 batch API로 옮겼을 때의 절감 추정 |
| 품질 샘플링 | --measure 옵션으로 후보 모델을 실제 provider key로 샘플 평가 |
| 데이터 통제 | 로그와 측정 호출이 로컬 또는 사용자의 provider로만 이동 |
누구에게 유용한가
- 프로덕션 LLM 앱 팀: 기능별 비용을 모르고 월말 청구서만 보는 상태에서 벗어나고 싶을 때
- 에이전트 개발자: tool call, retry, 긴 system prompt가 비용을 얼마나 키우는지 확인할 때
- 데이터 파이프라인 팀: 반복 가능한 추출·분류 작업을 소형 모델이나 batch 처리로 낮출 수 있는지 볼 때
한계
Frugon은 비용 분석기이지 품질 보증 시스템은 아니다. 추천 모델로 바꾸기 전에는 대표 샘플에 대한 회귀 평가가 필요하다. 특히 법무, 의료, 재무처럼 오류 비용이 높은 도메인에서는 비용 절감보다 실패 모드 검증이 먼저다.
관련 문서
- portkey-models — 여러 LLM provider의 가격 데이터를 조회하는 무료 API
- inference-caching — LLM 추론 비용과 지연 시간을 줄이는 캐시 전략
- llm-observability-tips-tools — 운영 중 LLM 호출을 추적하는 관찰성 도구
참고 자료
- Rodiun/frugon — GitHub 공식 저장소