vLLM
-
책상 위의 AI 슈퍼컴퓨터: NVIDIA DGX Spark가 바꾸는 AI 개발 환경
NVIDIA DGX Spark는 128GB 통합 메모리로 200B 파라미터 AI 모델을 책상 위에서 실행할 수 있는 $4,000짜리 소형 AI 슈퍼컴퓨터입니다. 클라우드 비용 부담 없이 로컬에서 AI 개발과 파인튜닝이 가능해진 새로운 개발 환경을 소개합니다.
Written by
-
vLLM: PagedAttention으로 LLM 서빙 성능을 24배 향상시킨 혁신 기술
UC Berkeley에서 개발한 vLLM의 PagedAttention 기술이 어떻게 LLM 서빙 성능을 24배 향상시켰는지, 그리고 실제 프로덕션 환경에서의 적용 사례와 설치부터 사용까지의 실용적인 가이드를 제공합니다.
Written by
