모델경량화
Bonsai 8B 등장, 1.15GB로 아이폰에서 돌아가는 8B급 성능의 비밀
PrismML이 공개한 1-bit LLM Bonsai 8B 소개. 1.15GB로 아이폰에서 동작하며 Microsoft BitNet과의 차별점, 인텔리전스 밀도 개념을 정리합니다.
Written by
AI 모델 실행 비용 절반으로, Dropbox가 설명하는 Low-bit 추론 최적화
AI 모델 실행 비용을 절반으로 줄이는 Low-bit 추론 기술. Dropbox가 설명하는 양자화 기법과 MXFP 포맷의 실무 적용 사례를 소개합니다.
Written by
