SpeculativeDecoding
코드 작성 AI가 2.3배 빨라진다: 디퓨전 모델의 구조화 마법
텍스트 디퓨전 모델이 코드 생성 시 기존 방식보다 2.33배 빠른 이유. 구조화된 출력과 병렬 디코딩의 관계를 실험 데이터로 분석합니다.
Written by
Miles 프레임워크 공개: 355B MoE 모델 훈련에 쓰인 실전 RL 도구
LMSYS가 355B MoE 모델 훈련에 실제 사용된 엔터프라이즈급 RL 프레임워크 Miles를 공개. 25% 추론 속도 향상과 True on-policy 구현이 핵심입니다.
Written by
