Deltafin
2.8조 파라미터 Kimi K3, 맥북 한 대로 돌리면 토큰 하나에 16초 걸린다
2.8조 파라미터 Kimi K3를 맥북 한 대에서 돌리는 개인 프로젝트 Deltafin. MoE 모델의 희소성 원리로 램 부족을 우회하는 방법과, 속도 대신 정확성·재현성을 택한 이유를 살펴봅니다.
Written by
최신 AI 쉽게 깊게 따라잡기⚡
2.8조 파라미터 Kimi K3를 맥북 한 대에서 돌리는 개인 프로젝트 Deltafin. MoE 모델의 희소성 원리로 램 부족을 우회하는 방법과, 속도 대신 정확성·재현성을 택한 이유를 살펴봅니다.
Written by
최신 게시물 요약과 더 심층적인 정보를 이메일로 받아 보세요! (무료)