NVMe스트리밍
2.78조 파라미터 모델이 램 8GB 노트북에서 돌아갔다
1.56TB짜리 Kimi K3 체크포인트를 램 8.24GB에서 돌린 C99 구현과, 활성 전문가만 NVMe에서 읽는 WARP 엔진. 메모리가 모델 크기의 상한이라는 전제가 흔들리고 있습니다.
Written by

최신 AI 쉽게 깊게 따라잡기⚡
1.56TB짜리 Kimi K3 체크포인트를 램 8.24GB에서 돌린 C99 구현과, 활성 전문가만 NVMe에서 읽는 WARP 엔진. 메모리가 모델 크기의 상한이라는 전제가 흔들리고 있습니다.
Written by

최신 게시물 요약과 더 심층적인 정보를 이메일로 받아 보세요! (무료)