foundation-model-infrastructure를 실제 서비스로 연결하려면 모델을 어디서 어떻게 실행할지 정해야 한다. 파운데이션 모델 배포는 하나의 문제가 아니다. 로컬 실험, GPU 고처리량 서빙, API 패키징, Kubernetes 운영, 모델 라이프사이클 관리가 서로 다른 도구를 요구한다.
빠른 선택표
| 상황 | 우선 검토 도구 |
|---|---|
| 로컬 실험, 데모, 사설 프로토타입 | Ollama, llama.cpp |
| open-weight LLM 고처리량 GPU 서빙 | vLLM, SGLang |
| Hugging Face 생태계 중심 운영 | Text Generation Inference(TGI) |
| 모델을 재현 가능한 API 서비스로 패키징 | BentoML |
| Kubernetes 기반 모델 운영 | Seldon Core, Kubeflow |
| 실험 추적·모델 레지스트리·라이프사이클 | MLflow, Metaflow |
| 기존 TensorFlow/PyTorch 서빙 유지 | TensorFlow Serving, TorchServe |
TorchServe는 제한 유지보수 상태이므로 새 LLM 배포의 기본 선택으로 두기에는 위험하다. 기존 시스템 호환이 명확할 때만 검토하는 편이 낫다.
LLM 서빙 엔진
vLLM
vLLM은 open-weight LLM을 GPU에서 고처리량으로 서빙할 때 가장 먼저 검토할 만한 선택지다. PagedAttention, continuous batching, prefix caching, chunked prefill, quantization, distributed inference 같은 기능이 핵심이다.
SGLang
SGLang은 대규모 LLM·멀티모달 서빙, RL rollout, 분산 추론 클러스터에 강하다. RadixAttention prefix caching, speculative decoding, tensor/pipeline/expert parallelism, multi-LoRA serving을 지원해 고급 운영 환경에 잘 맞는다.
Hugging Face TGI
TGI는 Hugging Face 모델 허브, Inference Endpoints, Hugging Chat 같은 생태계와 맞물린 production-oriented LLM server다. 팀이 이미 Hugging Face 중심으로 모델을 관리한다면 도입 비용이 낮다.
로컬·엣지 실행
Ollama는 개발자 노트북, 데모, 사설 내부 도구에 적합하다. 모델 다운로드와 실행이 단순하고, 로컬 프라이버시 요구를 만족하기 쉽다.
llama.cpp는 GGUF 기반 양자화 모델, CPU·소비자 GPU·엣지 장치 실행에 강하다. 프로덕션 대규모 서빙보다는 경량 배포와 하드웨어 이식성이 중요한 경우에 적합하다.
플랫폼 계층
BentoML은 모델을 API 서비스로 포장하고 배포 단위를 관리하는 데 강하다. 반면 Kubeflow와 Seldon Core는 Kubernetes가 이미 운영 표준인 조직에서 파이프라인, 스케일링, 모니터링, 거버넌스까지 묶는 데 적합하다.
MLflow와 Metaflow는 서빙 엔진이라기보다 실험, 레지스트리, 워크플로, 재현성을 관리하는 라이프사이클 도구다. 모델 호출 경로의 맨 앞보다는 운영 플랫폼의 기록·관리 계층에 놓는 편이 자연스럽다.
관련 문서
- foundation-model-infrastructure — 대규모 학습·추론 인프라 계층
- vllm-recipes — 하드웨어별·모델별 vLLM 실행 레시피
- llama-cpp — GGUF LLM을 직접 실행하는 경량 C++ 런타임
- self-hosted-llm — 로컬·온프레미스 LLM 운영의 실제 한계
- inference-caching — 추론 캐싱 전략
참고 자료
- 13 Open-Source Tools for Foundation Model Deployment — Turing Post (2026-05-17)