SOTA급 로컬 LLM은 “Ollama 설치”만의 문제가 아니라 VRAM, PCIe 토폴로지, 전력 제한, NCCL, 모델 양자화가 한꺼번에 얽힌 인프라 문제다. jamesob/local-llm 저장소는 실제 4x RTX PRO 6000 Blackwell 머신을 구성한 경험을 바탕으로 비용대별 현실적인 선택지를 보여준다.
비용대별 현실
| 예산 | 구성 | 기대할 수 있는 것 |
|---|---|---|
| 약 $2k | 중고 RTX 3090 2장, 총 48GB VRAM | Qwen3.6-27B급 모델, 음성 인식 모델, 실험용 로컬 에이전트 |
| 약 $40k+ | RTX PRO 6000 Blackwell 4장, 총 384GB VRAM | 양자화된 500B+급 모델, Opus급에 가까운 로컬 추론 실험 |
핵심 병목은 대부분 VRAM이다. CPU와 시스템 RAM도 중요하지만, LLM 추론에서는 “모델이 올라가는가”가 먼저이고, 그 다음이 GPU 간 통신과 지연시간이다.
4GPU 구성에서 중요한 것
저장소의 4x RTX PRO 6000 구성은 PCIe 4.0 스위치를 사용해 GPU 간 all-reduce 경로를 단축한다. NVLink가 없는 RTX PRO 6000 Blackwell에서는 GPU 간 통신이 PCIe를 통과하므로, 단순히 슬롯 수가 많은 보드보다 P2P 통신이 제대로 되는 토폴로지가 중요하다.
실무에서 확인할 항목:
- Re-Size BAR 활성화
- ACS 비활성화로 GPU P2P 경로 확보
- GPU power limit 설정
- NCCL 환경 변수 검증
- 모델 weight 저장용 NVMe 용량 확보
로컬 SOTA는 운영 지식이 필요하다
로컬 LLM은 API 비용과 데이터 통제 문제를 줄이지만, 운영 난이도를 대신 떠안는다. 커널 파라미터, 드라이버, vLLM 설정, 양자화 포맷, 모델별 프롬프트 템플릿이 성능과 안정성에 직접 영향을 준다.
개인이나 소규모 팀은 다음 순서가 현실적이다.
- 단일 GPU 또는 듀얼 3090으로 워크로드를 검증한다.
- 실제 사용 모델의 VRAM 요구량과 컨텍스트 길이를 측정한다.
- 대형 멀티 GPU 구성은 모델·서빙 스택·전력·냉각까지 함께 설계한다.
관련 문서
- self-hosted-llm — 로컬·온프레미스 LLM 운영의 실제 한계와 해결책
- llama-cpp — GGUF 포맷 LLM을 CPU·GPU에서 직접 실행하는 C++ 런타임
- vllm — 고처리량 LLM 추론·서빙 엔진
- whichllm — 내 하드웨어에서 실제로 잘 도는 로컬 LLM 추천 CLI
참고 자료
- jamesob/local-llm — GitHub 공식 저장소