Colibri는 거대한 MoE 모델인 GLM-5.2를 소비자급 장비에서 실험적으로 실행하려는 순수 C 추론 엔진이다. 핵심 아이디어는 전체 전문가 가중치를 메모리에 올리지 않고, 필요한 expert를 디스크에서 스트리밍하고 hot expert만 캐시하는 것이다.
핵심 아이디어
일반적으로 700B급 MoE 모델은 소비자 PC에서 실행하기 어렵다. Colibri는 모델 전체를 상주시키는 대신 int4 컨테이너, expert 캐시, NVMe 스트리밍, MTP 기반 추측 디코딩을 조합해 낮은 RAM 예산에서 동작시키려 한다.
| 구성 | 설명 |
|---|---|
| expert streaming | 필요한 MoE expert를 디스크에서 읽어온다 |
| expert cache | 자주 쓰는 expert를 RAM에 남겨 반복 접근 비용을 줄인다 |
| int4 container | 가중치 저장 크기를 줄인다 |
| MTP head | 추측 디코딩을 위한 보조 헤드를 변환한다 |
현실적인 성능 해석
저장소는 “가능하다”와 “빠르다”를 구분한다. README의 커뮤니티 벤치마크는 24~25GB RAM 환경에서도 실행은 가능하지만 토큰 속도는 매우 낮을 수 있음을 보여준다. 따라서 Colibri는 일상적인 로컬 챗봇보다는 초대형 MoE 모델 구조, expert streaming, 디스크 기반 추론을 실험하는 연구·해킹 프로젝트에 가깝다.
사용 대상
- 초대형 MoE를 제한된 장비에서 어떻게든 로드해 보고 싶은 연구자
- expert caching과 디스크 스트리밍 추론을 실험하는 시스템 엔지니어
- 로컬 LLM 생태계의 극한 실험과 구현 트레이드오프를 공부하는 개발자
관련 문서
- local-llm-tips-hardware — SOTA급 로컬 LLM을 돌리기 위한 하드웨어 현실
- llm-inference — LLM 추론 인프라 개요
- dspark — DeepSeek의 투기적 디코딩 프레임워크
참고 자료
- JustVugg/colibri — GitHub 공식 저장소