TurboFieldfare는 Gemma 4 26B-A4B instruction 모델을 8GB Apple Silicon Mac에서도 실행해보려는 로컬 추론 엔진이다. 전체 14.3GB 모델을 메모리에 올리지 않고, 공용 파라미터는 메모리에 유지하며 토큰마다 필요한 expert 행을 SSD에서 스트리밍하는 방식으로 약 2GB RAM 예산을 맞춘다.
왜 흥미로운가
일반적인 로컬 LLM 실행은 모델 크기와 메모리 용량이 거의 정면으로 충돌한다. TurboFieldfare는 범용 추론 프레임워크가 아니라 특정 모델, 특정 하드웨어, 특정 메모리 예산에 맞춘 실험이다. 덕분에 “큰 모델을 작게 양자화한다”보다 더 공격적으로, MoE 구조와 저장장치 스트리밍을 함께 활용한다.
구성
| 항목 | 내용 |
|---|---|
| 대상 모델 | Gemma 4 26B-A4B IT, 토큰당 약 3.88B 활성 파라미터 |
| 저장 용량 | 설치된 text-only 모델 약 14.3GB |
| 하드웨어 | Apple Silicon Mac, 8GB RAM 이상 |
| 구현 | Swift, Metal |
| 인터페이스 | Mac 앱, CLI, 로컬 OpenAI 호환 Chat Completions 서버 |
| 라이선스 | Apache 2.0 |
사용 방식
처음 실행 시 모델을 .gturbo 형식으로 설치하고 검증한다. 설치는 모델을 메모리에 올리지 않는다. 이후 Mac 앱에서 모델을 로드해 텍스트를 생성하거나, CLI/로컬 서버로 기존 OpenAI 호환 클라이언트에 붙일 수 있다.
텍스트 전용 추론이 현재 범위다. 이미지, 오디오, 비디오 입력은 지원하지 않고, 도구 호출은 클라이언트가 승인·실행하는 모델 출력 형태로 다뤄야 한다.
언제 볼 만한가
- 8GB MacBook 같은 저사양 로컬 환경에서 대형 MoE 모델 실행 가능성을 실험할 때
- MLX나 llama.cpp가 아니라 모델 특화 런타임 최적화가 어떤 trade-off를 만드는지 보고 싶을 때
- SSD 스트리밍, Metal 커널, 로컬 OpenAI 호환 서버를 묶은 추론 엔진 설계를 참고할 때
주의할 점
TurboFieldfare는 범용 모델 런타임이 아니다. README 기준 현재 범위는 Apple Silicon과 고정된 Gemma 4 26B-A4B instruction checkpoint에 맞춰져 있다. 또한 저장장치 I/O와 메모리 압박에 민감하므로, 실제 사용성은 토큰 속도와 반복 품질을 별도로 확인해야 한다.
관련 문서
- local-llm-tips-hardware — 로컬 LLM 실행을 위한 하드웨어 선택 기준
- gemma — Google Gemma 계열 오픈 모델
- llm-inference — LLM 추론 최적화와 런타임 설계
참고 자료
- drumih/turbo-fieldfare — GitHub 공식 저장소