TorchSpec은 투기적 디코딩(speculative decoding)용 draft 모델을 학습하는 PyTorch 네이티브 프레임워크다. 핵심은 inference와 training을 분리하고, inference engine이 생성한 target model hidden state를 mooncake Store를 통해 distributed training worker로 스트리밍하는 구조다.
왜 draft 모델 학습이 필요한가
투기적 디코딩은 작은 draft 모델이 다음 토큰 후보를 여러 개 제안하고, 큰 target 모델이 한 번에 검증해 생성 속도를 높인다. 하지만 좋은 draft 모델은 target 모델의 분포를 잘 따라야 한다. 범용 작은 모델을 그냥 붙이는 것보다 target 모델과 실제 serving workload에 맞춘 draft 모델을 학습해야 accepted token length가 늘어난다.
TorchSpec은 이 학습 파이프라인을 분산 시스템으로 다룬다.
Inference engine group
↓ hidden states
Mooncake Store
↓ streaming tensors
Distributed training workers
↓
EAGLE3 / DSpark류 draft model checkpoint지원 범위
README 기준 학습 흐름과 예시는 Kimi-K2.5, MiniMax-M2.5, Qwen3-Coder-Next 계열을 포함한다. 공개 draft 모델은 LightSeek Foundation Hugging Face 조직과 Inferact의 MiniMax-M3-EAGLE3 등이 있다.
| Backend | 상태 |
|---|---|
| vLLM | first-class |
| TokenSpeed | first-class, 진행 중 |
| TensorRT-LLM | first-class |
| SGLang | community effort |
| Hugging Face Transformers | community effort |
채택 사례
TorchSpec은 DigitalOcean, vLLM, CoreWeave, fal 등의 speculative decoding 작업에 사용된 것으로 소개된다. 예를 들어 vLLM의 Artificial Analysis leaderboard 작업과 CoreWeave의 Kimi K2.7 Code 서버리스 추론 최적화 사례가 언급된다.
관련 문서
- dspark — DeepSeek의 투기적 디코딩 기반 추론 최적화
- mooncake — KV 캐시 중심 분산 LLM 서빙 플랫폼
- speculative-kv-coding — 추론 속도와 KV 캐시 최적화 관점
참고 자료
- lightseekorg/TorchSpec — GitHub 공식 저장소