MLX
맥에서 로컬 LLM 돌리는 법이 갈라졌다, 속도냐 메모리냐
같은 맥북에서 같은 모델을 돌려도 접근법이 갈립니다. Rapid-MLX는 Ollama보다 2~4배 빠른 속도를 내세우고, TurboFieldfare는 26B 모델을 2GB 메모리로 밀어 넣죠. 하나는 램이 넉넉한 사람을 위한 속도 최적화고, 다른 하나는 8GB 맥북에서도 큰 모델을 돌리려는 시도입니다. 지금 내 맥에서 무엇을 고를지 정리했습니다.
Written by
Ollama MLX 엔진 업데이트, Apple Silicon 로컬 모델 품질과 속도를 동시에 끌어올린 방법
Ollama MLX 엔진 업데이트로 Apple Silicon에서 품질 손실 절반 감소, 출력 속도 20% 향상, 에이전트 워크플로우 개선. NVFP4 양자화 지원과 스냅샷 시스템의 의미를 정리합니다.
Written by
Ollama 0.19, MLX 탑재로 Mac에서 AI 추론 속도 2배 빨라졌다
Ollama 0.19가 Apple MLX 프레임워크를 탑재해 Mac에서 AI 추론 속도를 최대 2배 향상. NVFP4 지원과 캐시 개선도 포함한 주요 업데이트를 소개합니다.
Written by
