어제 이 지면에서 2.8조 파라미터 모델을 맥북 한 대로 돌리는 실험을 소개했습니다. 토큰 하나 만드는 데 16초가 걸리는, 실용성보다 “이게 되긴 되네”를 보여주는 존재 증명에 가까웠습니다. 그런데 같은 원리를 쓰는 또 다른 프로젝트가 있습니다. 이번엔 결과가 정반대입니다.

개발자 drumih가 공개한 TurboFieldfare는 구글 Gemma 4 26B-A4B 모델을, 8GB 맥북에어에서 실제 메모리 사용량 약 2GB로 돌립니다. 속도는 초당 5~6토큰. 대화하기엔 느리지만, 토큰당 16초와는 체감 자체가 다른 속도입니다.

출처: GitHub – drumih/turbo-fieldfare – Gemma 4 26B-A4B inference in ~2 GB of RAM on any M-series MacBook

같은 재료, 다른 설계

기본 아이디어는 어제 살펴본 Kimi K3 실험과 같습니다. Gemma 4 26B-A4B도 MoE(전문가 혼합) 구조라, 30개 레이어 각각의 128개 전문가 중 토큰 하나당 8개만 골라 쓰죠. 이름의 “A4B”가 이 특성을 그대로 드러내는 것. 전체 파라미터는 26B이지만 실제로 활성화되는 건 약 3.88B뿐입니다. 공유 가중치와 KV 캐시만 메모리에 두고, 나머지 전문가는 SSD에서 그때그때 읽어오는 것도 어제 살펴본 스트리밍 방식과 다르지 않은 겁니다.

차이는 이 원리를 어디에 쓰느냐에서 갈립니다. Kimi K3는 92개 레이어에 걸쳐 8만 개가 넘는 전문가를 다뤄야 했고, 그중 자주 쓰는 부분만 상주시켜도 114GB가 필요했죠.

TurboFieldfare가 다루는 Gemma 4는 애초에 전체 크기가 14.3GB에 불과합니다. 상주시켜야 할 공유 가중치도 1.35GB 수준으로 작습니다. 같은 “필요한 조각만 불러온다”는 전략이, 모델 규모가 작아지자 8GB 기기에서도 실용적인 속도로 성립하는 것입니다.

MLX 같은 범용 도구 대신 전용 런타임을 짠 이유

TurboFieldfare는 MLX나 llama.cpp를 감싼 래퍼가 아니라, 이 모델 하나만을 위해 Swift와 Metal로 처음부터 짠 런타임입니다. 그 대가로 얻은 게 정밀한 메모리 제어죠. 24GB M5 Pro에서 같은 모델을 범용 도구 mlx-lm으로 그냥 돌리면 초당 76~82토큰까지 나오지만, 메모리를 8.3~9.8GB나 차지합니다. TurboFieldfare는 그 자리에서 2.1GB만 쓰고, 대신 속도는 31~35토큰으로 낮아지는 겁니다.

결국 둘 다 “메모리를 아끼는 대신 속도를 내준다”는 같은 트레이드오프 위에 있습니다. 다만 TurboFieldfare는 이 대가를 8GB라는, 애초에 다른 방법으로는 그 모델을 켤 수조차 없는 기기에 맞춰 최적화했다는 점이 다릅니다. 개발자가 남긴 실험 기록에는 커널·캐싱·입출력 전 영역에 걸쳐 103개의 측정 결과가 정리돼 있어, 이 설계에 이르기까지 어떤 시도가 실패했는지도 함께 볼 수 있습니다.