CPU추론
13년 된 서버에서 AI 모델 돌리기, 진짜 실력은 구독료가 아니었다
13년 된 구형 서버에서 26B 모델을 돌리려다 실행조차 안 됐던 문제를, Claude가 CPU 세대 차이를 진단하고 고쳐낸 사례를 짚어봅니다.
Written by
LEAF: 23M 파라미터로 OpenAI 임베딩 성능 97% 달성, CPU만으로 작동
MongoDB가 공개한 LEAF 프레임워크는 대형 임베딩 모델을 5~15배 압축하면서도 성능 97%를 유지합니다. GPU 없이 CPU만으로 고성능 RAG 구현이 가능해졌습니다.
Written by
