8GB 맥북 에어에서 260억 파라미터 모델이 돌아갑니다. 초당 5~6토큰, 메모리는 약 2GB만 쓰면서요.

지난 며칠 사이 Apple Silicon용 로컬 추론 프로젝트가 여럿 공개됐습니다. 방향은 크게 둘로 갈리죠. 램이 넉넉한 맥에서 속도와 도구 호출을 끌어올리는 쪽, 그리고 램이 부족한 맥에서 큰 모델을 어떻게든 굴리는 쪽입니다.

출처:

• Rapid-MLX – GitHub
• TurboFieldfare – GitHub

속도 쪽, Rapid-MLX

Rapid-MLX는 자신을 “Apple Silicon에서 가장 빠른 로컬 AI 엔진”으로 소개합니다. 저장소가 내세우는 수치는 Ollama 대비 2~4배, 캐시가 걸린 상태의 첫 토큰 지연 0.08초죠. 다만 이건 프로젝트 자체 측정치라서, 독립 벤치마크가 아니라는 점은 감안하고 봐야 합니다.

개인 입장에서 더 실질적인 건 속도보다 붙이는 방식일지 모릅니다. OpenAI와 Anthropic API를 그대로 대체하는 드롭인 서버라서, rapid-mlx serve 한 줄로 로컬 8000번 포트에 서버가 뜨고 Claude Code나 Cursor, Aider가 그걸 그대로 바라보게 할 수 있거든요. 도구 호출 파서를 17종 갖췄다는 점도 에이전트를 로컬 모델로 돌려보려는 사람에게는 의미가 있습니다.

설치 스크립트가 램을 감지해 모델을 골라준다는 점도 눈에 띕니다. 8~15GB면 2.6B급, 24~31GB면 Gemma 4 26B, 96GB 이상이면 122B를 추천하는 식이죠. 자기 기기에 뭐가 맞는지 모르는 상태에서 시작하기엔 편한 설계입니다.

한 가지 짚어둘 건 설치 경로입니다. 프로젝트 문서 자체가 curl | bash 방식의 위험을 인정하고, 릴리스 자산을 내려받아 cosign 서명으로 검증하는 경로나 Homebrew, pip를 대안으로 안내하죠. 로컬에 서버를 띄우는 도구인 만큼 이쪽을 권할 만하죠.

메모리 쪽, TurboFieldfare

TurboFieldfare는 반대 방향에서 출발합니다. 만든 사람의 표현을 빌리면 “메모리가 비싸졌으니 260억 파라미터 모델에 2GB 예산을 줬다”는 겁니다.

작동 방식을 보죠. Gemma 4 26B-A4B의 전체 14.3GB를 메모리에 올리지 않고, 공유되는 1.35GB 코어와 KV 캐시만 상주시킨 뒤 토큰마다 필요한 전문가(expert)만 SSD에서 스트리밍합니다. MoE 구조라 토큰당 실제로 쓰이는 파라미터가 약 38.8억 개뿐이라는 점을 이용한 설계죠.

측정치는 기기에 따라 크게 갈립니다. 8GB M2 맥북 에어에서 초당 5.1~6.3토큰, 24GB M5 프로에서는 31~35토큰이 나왔죠. 만든 사람도 이 숫자를 성능 상한이 아니라 참고점이라고 못 박았습니다. 프롬프트 길이, 생성 길이, 페이지 캐시 상태가 전부 처리량에 영향을 주니까요.

대신 요구 조건이 빡빡합니다. macOS 26에 Metal 4, Xcode 26과 Swift 6.2가 필요하고 arm64 전용이죠. MLX나 llama.cpp를 감싼 래퍼가 아니라 이 모델 하나를 위해 직접 짠 Swift·Metal 런타임이라, 다른 모델로 갈아타는 유연성은 없습니다.

그래서 어느 쪽인가

기준은 단순하죠. 램이 24GB 이상이고 코딩 에이전트를 로컬 모델에 붙여보고 싶다면 Rapid-MLX 쪽이 맞습니다. 램이 8~16GB인데 작은 모델의 품질이 아쉬웠다면 TurboFieldfare가 답하려는 문제가 바로 그것이고요.

두 프로젝트가 공통으로 보여주는 건 로컬 추론의 병목이 옮겨 갔다는 사실입니다. 예전엔 “이 모델이 내 맥에 올라가느냐”가 전부였죠. 지금은 올라간다는 전제 위에서 첫 토큰이 얼마나 빨리 나오는지, 도구 호출이 제대로 되는지, 에이전트 하네스에 붙는지를 따집니다. 로컬 모델을 장난감이 아니라 작업 도구로 쓰려는 사람이 늘었다는 뜻이겠죠.

물론 두 수치 모두 만든 사람이 직접 잰 것이라 서로 비교하기는 어렵습니다. 측정 기기도, 모델도, 조건도 다르니까요. 내 기기에서 직접 재보는 것 말고는 방법이 없습니다.

써보려면

필요한 것: Apple Silicon 맥. Rapid-MLX는 Python 3.10 이상과 M1 이후 기기면 되고, TurboFieldfare는 macOS 26·Metal 4·Xcode 26·Swift 6.2에 모델 설치용 저장공간 약 14.3GB가 더 필요합니다.

시작 지점: Rapid-MLX는 Homebrew나 pip로 설치한 뒤 rapid-mlx serve 명령으로 로컬 서버를 띄우고, 쓰던 도구의 API 주소를 http://localhost:8000으로 바꿉니다. TurboFieldfare는 저장소를 클론해 릴리스 빌드를 만든 뒤 앱에서 모델을 내려받습니다.

잘 맞는 상황 / 안 맞는 상황: 반복 작업을 로컬에서 돌려 비용과 지연을 줄이려는 경우, 또는 외부로 나가면 안 되는 자료를 다루는 경우에 맞습니다. 반대로 최상급 품질이 필요한 작업이라면 프런티어 모델을 쓰는 편이 낫죠. TurboFieldfare는 모델 전용 런타임이라 다른 모델을 시험해보려는 목적에는 맞지 않고, Rapid-MLX의 설치 스크립트는 curl | bash 대신 검증된 경로를 쓰는 편이 안전합니다.

참고자료:

• Open MLX Model Mirror – Rapid-MLX
• Gemma 4 모델 카드 – Google