AI Sparkup

최신 AI 쉽게 깊게 따라잡기⚡

RapidMLX

  • 맥에서 로컬 LLM 돌리는 법이 갈라졌다, 속도냐 메모리냐

    같은 맥북에서 같은 모델을 돌려도 접근법이 갈립니다. Rapid-MLX는 Ollama보다 2~4배 빠른 속도를 내세우고, TurboFieldfare는 26B 모델을 2GB 메모리로 밀어 넣죠. 하나는 램이 넉넉한 사람을 위한 속도 최적화고, 다른 하나는 8GB 맥북에서도 큰 모델을 돌리려는 시도입니다. 지금 내 맥에서 무엇을 고를지 정리했습니다.


AI Sparkup 구독하기

최신 게시물 요약과 더 심층적인 정보를 이메일로 받아 보세요! (무료)