KV캐시
TurboQuant에 “Pied Piper”라는 별명이 붙은 이유, 그리고 그 비교가 과장인 이유
구글 TurboQuant 발표에 업계가 ‘Pied Piper’, ‘DeepSeek 모멘트’라 반응한 이유와 그 비교가 과장인 이유를 분석합니다.
Written by
AI 메모리 병목을 3비트로 해결, 구글 TurboQuant 8배 속도 달성한 방법
구글 리서치가 발표한 TurboQuant는 LLM의 KV 캐시를 3.5비트로 압축하면서 정확도 손실 없이 최대 8배 빠른 처리 속도를 달성한 벡터 양자화 알고리즘입니다.
Written by
긴 컨텍스트 LLM의 숨겨진 함정, H100 동시 사용자 59명이 1명이 되는 이유
128K 컨텍스트 하나로 H100 동시 사용자가 59명에서 1명이 되는 이유. KV 캐시 압축·Mamba·하이브리드 등 5가지 탈출 전략의 트레이드오프를 비용 수치와 함께 분석합니다.
Written by
Diffusion LLM 추론 속도 14배 높인 CDLM, 두 가지 병목을 동시에 푼 방법
Together.ai가 공개한 CDLM은 Diffusion Language Model의 추론 속도를 최대 14배 높이는 포스트 트레이닝 기법입니다. KV 캐시 문제와 과도한 정제 스텝, 두 가지 병목을 동시에 해결합니다.
Written by
