로컬 인프라
5분 만에 세팅한 오픈모델, 내 엔드포인트를 갖는 게 이렇게 좋을 줄 몰랐다
클로드·챗GPT만 쓰던 개발자가 오픈모델 엔드포인트를 5분 만에 세팅해보고 느낀 뜻밖의 해방감. 오픈웨이트 모델의 매력이 성능이 아니라 소유감일 수 있다는 개인 경험담을 소개합니다.
Written by
2.8조 파라미터 Kimi K3, 맥북 한 대로 돌리면 토큰 하나에 16초 걸린다
2.8조 파라미터 Kimi K3를 맥북 한 대에서 돌리는 개인 프로젝트 Deltafin. MoE 모델의 희소성 원리로 램 부족을 우회하는 방법과, 속도 대신 정확성·재현성을 택한 이유를 살펴봅니다.
Written by
