공유 API 키로 모든 팀원이 AI 모델을 사용하도록 열어뒀더니, 월말 청구서가 나왔을 때 누가 얼마를 썼는지 아무도 설명하지 못합니다. 설명이 안 되니 통제도 안 됩니다. 예산도 없고 가시성도 없으니 모두가 가장 비싼 프론티어 모델을 기본으로 씁니다.

Cloudflare가 AI Gateway에 지출 한도(Spend Limits) 기능을 추가했습니다. AI API 비용을 달러 기준 예산으로 설정하고, 사용자·팀·모델 단위로 지출을 추적·제한하는 기능으로, 6월 5일부터 전체 플랜 대상 오픈 베타로 제공됩니다. Cloudflare Access와 연동한 아이덴티티 기반 예산 정책은 클로즈드 베타로 함께 발표됐습니다.

출처: Your AI bill is out of control. Cloudflare can fix it now. – Cloudflare Blog

AI Gateway, 프로바이더와 앱 사이 미들웨어

AI Gateway는 애플리케이션과 AI 프로바이더(OpenAI, Anthropic, Google 등) 사이에 위치하는 미들웨어입니다. 요청이 직접 프로바이더로 가는 대신 AI Gateway를 거치는 구조로, 이 덕분에 통합 로깅, 응답 캐싱, 레이트 리밋, 콘텐츠 가드레일 같은 기능을 프로바이더와 무관하게 일괄 적용할 수 있었습니다.

단, 기존에는 계정 전체의 집계 사용량만 볼 수 있었습니다. 특정 팀원이 이번 달 Claude에 2,000달러를 썼고 데이터 사이언스 팀 전체는 400달러를 썼다는 식의 세분화된 파악은 불가능했고, 사용자별 예산 설정도 없었습니다.

토큰이 아닌 달러로, 지출 한도 기능

이번에 추가된 지출 한도는 토큰 수가 아닌 달러 기준으로 설정합니다. 적용 단위는 모델·프로바이더·사용자·팀·애플리케이션 등 커스텀 속성으로 자유롭게 조합할 수 있고, 리셋 주기는 일간·주간·월간에서 선택하며 고정 주기(예: 매월 1일 리셋)나 롤링 방식(오늘부터 30일) 모두 지원합니다.

AI Gateway는 요청마다 모델 가격 기준으로 비용을 계산하고 누적 지출을 실시간으로 추적합니다. 한도에 도달하면 기본적으로 이후 요청을 차단하지만, 동적 라우팅 규칙(Dynamic Routes)을 통해 더 저렴한 폴백 모델로 자동 전환하도록 설정할 수도 있습니다. 개발자의 워크플로우를 끊지 않으면서 비용만 통제하는 방식입니다.

아이덴티티 기반 예산 정책, 클로즈드 베타

지출 한도만으로는 한 가지 한계가 있습니다. 앱이 사용자 정보를 메타데이터로 직접 전달해야 하고, AI Gateway는 그 값을 그대로 신뢰합니다. 검증된 사용자 귀속(attribution)이 필요하다면 아이덴티티가 있어야 합니다.

Cloudflare Access와 연동하면 개발자나 에이전트가 요청할 때 Access 인증을 거치고, AI Gateway가 인증 토큰(JWT)에서 실제 아이덴티티(이메일, IdP 그룹, 서비스 토큰 이름)를 자동으로 추출해 로그에 붙입니다. 앱 쪽에서 별도 코드를 작성하거나 토큰을 직접 파싱할 필요가 없습니다.

이 구조 위에서 직군별 차등 모델 접근 권한(ML팀은 Claude Opus, 인턴은 오픈소스 모델)이나, CI/CD 파이프라인·자율 에이전트별 고유 예산 부여가 가능해집니다. Cloudflare는 이 방식을 내부적으로 이미 운용 중이라고 밝혔습니다.

비용 가시성에서 비용 최적화로

이번 기능이 해결하는 것은 가시성과 통제입니다. 누가 무엇을 얼마나 쓰는지 파악하는 것, 그리고 그 지출에 한도를 거는 것. “월말 청구서를 보고 아무도 설명 못 하는” 상황은 이것만으로도 상당 부분 해소됩니다.

Cloudflare는 다음 단계로 태스크 기반 자동 라우팅을 개발 중이라고 밝혔습니다. 각 요청의 성격을 분석해 품질 손실 없이 가장 저렴한 모델로 자동 연결하는 기능입니다. 지출 한도가 ‘AI 비용을 얼마까지 쓸 것인가’를 정하는 도구라면, 라우팅은 ‘그 예산을 어떻게 가장 잘 쓸 것인가’를 다루는 다음 레이어가 됩니다.