MiMo-V2.5 Inference는 Xiaomi가 MiMo-V2.5 계열 모델을 운영하면서 공개한 전체 추론 최적화 사례다. 핵심은 Hybrid Sliding Window Attention(Hybrid SWA), 희소 MoE(sparse mixture-of-experts), 멀티모달 인코더라는 모델 구조의 이론적 효율을 KV 캐시, 스케줄러, prefill/decode 파이프라인, 분산 캐시까지 포함한 실제 서빙 시스템에서 실현하는 것이다.
왜 중요한가
Hybrid SWA는 대부분의 층에서 로컬 윈도우만 보게 하고, 일부 층만 전체 문맥을 보게 해 긴 컨텍스트 비용을 줄인다. MiMo-V2.5-Pro 기준으로 70개 층 중 10개는 Full Attention, 60개는 SWA이며 윈도우 크기는 128이다. Xiaomi는 이 구조가 Full Attention 대비 KV 캐시 저장량을 대략 1/7 수준으로 줄일 수 있다고 설명한다.
문제는 구조만 바꾼다고 운영 비용이 자동으로 줄지 않는다는 점이다. 기존 추론 프레임워크가 SWA용 KV 캐시 생명주기를 제대로 다루지 못하면, SWA 층도 긴 전체 시퀀스만큼 캐시를 잡아 효율이 사라진다.
핵심 최적화
| 영역 | 접근 | 효과 |
|---|---|---|
| KV 캐시 | Full Attention 풀과 SWA 풀을 분리 | SWA 캐시를 윈도우 크기 기준으로 제한 |
| Prefix 캐시 | 토큰 동일성 대신 window-safe length로 hit 판단 | 잘못된 SWA 캐시 재사용 방지 |
| 분산 캐시 | GCache 기반 L3 캐시와 계층형 prefetch | 장기 세션·반복 prefix 재사용률 개선 |
| 스케줄링 | 캐시 친화 요청 우선, 길이 버킷 분리 | L2 hit와 TTFT 개선 |
| Decode | SWA 지원, MTP prefill 적응 | 장문·짧은 출력 에이전트 시나리오 비용 절감 |
| 멀티모달 | 인코더 분리, GPU 전처리, 캐시 공유 | 이미지·오디오·비디오 입력 처리량 개선 |
SWA-aware KV 캐시가 핵심이다
전통적인 prefix 캐시는 “같은 토큰 시퀀스면 같은 KV”라는 가정에 기대지만, SWA에서는 이 가정이 깨진다. prefix tree에는 긴 시퀀스가 남아 있어도 SWA 풀에는 마지막 윈도우의 일부만 남아 있을 수 있기 때문이다. 따라서 MiMo-V2.5 시스템은 prefix hit 길이를 SWA 윈도우 안에서 실제 KV가 살아 있는 범위로 잘라 계산한다.
이 설계는 mooncake나 speculative-kv-coding처럼 KV 캐시를 서빙 비용의 중심 변수로 보는 흐름과 맞닿아 있다. 차이는 단순 압축이 아니라 모델 아키텍처의 attention 패턴까지 캐시 관리에 반영한다는 점이다.
운영 지표
공개 글에서 Xiaomi는 다음과 같은 운영 효과를 제시한다.
- Hybrid SWA 구조로 long-context 시나리오에서 KV 캐시 저장량을 약 1/7까지 절감
- 라우터의 KV 캐시 affinity 스케줄링으로 L2 캐시 hit rate 약 25%, 노드당 입력 처리량 약 30% 개선
- prefill expert parallelism 조정으로 end-to-end 성능 약 40% 개선
- 특정 NUMA 충돌 해결로 end-to-end 성능 약 10% 개선
- MTP prefill 적응으로 초기 decode 구간에서 2.3배, 이후 구간에서 1.5배 속도 개선
- 멀티모달 인코더 처리량을 15 QPS에서 30 QPS로 개선
누가 참고하면 좋은가
- vLLM, SGLang, TensorRT-LLM 계열로 긴 컨텍스트 모델을 서빙하는 플랫폼 팀
- 에이전트 세션, 코드베이스 분석, 멀티턴 도구 호출처럼 prefix 재사용이 많은 서비스를 운영하는 팀
- 모델 아키텍처와 서빙 시스템을 함께 설계해야 하는 연구·인프라 조직
관련 문서
- mooncake — KV 캐시 중심의 분산 LLM 서빙 플랫폼
- speculative-kv-coding — KV 캐시를 예측 부호화로 압축하는 기법
- sglang-omni — SGLang 기반 옴니모달 모델 서빙 프레임워크
- ai-model-co-design — 하드웨어 친화적 LLM을 함께 설계하는 방법
참고 자료
- Full-Pipeline Inference Optimization for MiMo-V2.5 — Xiaomi MiMo Blog (2026-05-30)