LLM을 팀에 도입하면 늘 같은 고민에 부딪힙니다. 접근을 자유롭게 열어주면 비용이 폭발하고, 너무 통제하면 혁신이 막히죠. Mozilla AI가 바로 이 딜레마를 해결하는 오픈소스 도구를 내놓았습니다.
Mozilla AI가 LLM 사용량과 비용을 관리하는 프록시 서버 any-llm-gateway를 오픈소스로 공개했습니다. 이전에 공개한 any-llm 라이브러리(여러 LLM 제공사를 하나의 인터페이스로 사용하게 해주는 Python 라이브러리)에 예산 관리, API 키 관리, 사용량 분석 기능을 더한 프로덕션급 솔루션이에요.
출처: Control LLM Spend and Access with any-llm-gateway – Mozilla AI Blog
실무에 필요한 세 가지 핵심 기능
스마트 예산 관리
공유 예산 티어를 만들어 여러 사용자가 함께 쓸 수 있습니다. 일/주/월 단위로 자동 리셋되고, 예산을 강제할지 아니면 추적만 할지 선택할 수 있어요. 수동으로 개입할 필요가 없죠.
유연한 API 키 시스템
마스터 키 인증(신뢰할 수 있는 서비스용)과 가상 API 키 중에서 골라 쓸 수 있습니다. 가상 키는 만료일을 설정하거나 메타데이터를 붙일 수 있고, 언제든 활성화하거나 비활성화하거나 폐기할 수 있어요. 사용자별 지출 추적도 자동으로 됩니다.
완전한 사용량 분석
모든 요청이 토큰 수, 비용(관리자가 설정한 토큰당 비용 기준), 메타데이터와 함께 기록됩니다. 사용자별 지출을 추적하고, 상세한 사용 내역을 보고, 비용 배분이나 차지백에 필요한 가시성을 확보할 수 있죠.
바로 쓸 수 있는 실용성
any-llm-gateway는 애플리케이션과 LLM 제공사 사이에 위치하며, OpenAI 호환 Completions API를 제공합니다. provider:model 형식(예: openai:gpt-4o-mini, anthropic:claude-3-5-sonnet-20241022)으로 모델을 지정하기만 하면 나머지는 게이트웨이가 알아서 처리해요. 스트리밍 지원과 자동 토큰 추적도 포함됩니다.
배포도 간단합니다. Docker로 몇 분 만에 띄울 수 있고, YAML이나 환경 변수로 설정하며, Kubernetes용 liveness/readiness probe도 내장되어 있어 프로덕션 환경에 바로 투입할 수 있습니다.
비용과 혁신 사이의 균형
SaaS 애플리케이션에 요금제별 LLM 접근을 구현하든, 연구팀의 LLM 사용을 관리하든, 조직의 비용 통제를 구현하든 any-llm-gateway는 필요한 인프라를 제공합니다. 오픈소스로 공개된 만큼 누구나 자유롭게 사용하고 커스터마이징할 수 있죠.
특히 눈에 띄는 건 실무 문제에 대한 이해도입니다. “접근을 막으면 혁신이 느려진다”는 문장에서 알 수 있듯, Mozilla는 단순히 비용만 줄이는 게 아니라 팀이 안전하게 실험할 수 있는 환경을 만드는 데 초점을 맞췄어요. 프로덕션 환경에서 LLM을 관리해야 하는 팀이라면 한 번쯤 살펴볼 만한 도구입니다.
참고자료:
답글 남기기