모델최적화
텍스트 디제너레이션, LLM 요청 3%가 시스템 전체를 42% 느리게 만드는 원리
LLM 요청의 3%에서 발생하는 텍스트 디제너레이션이 GPU 배치 전체 처리 시간을 42% 늘리는 구조적 원인과, DPO로 발생률을 최대 87% 줄인 실험 결과를 소개합니다.
Written by
전문가 12.5%만 써도 성능 그대로, Ai2의 새로운 MoE 학습법 EMO
Ai2와 UC Berkeley가 발표한 EMO는 문서 경계를 학습 신호로 활용해 전문가들이 도메인별로 특화되게 만드는 MoE 학습 방식입니다. 전문가 12.5%만으로도 성능 손실 3% 이내를 달성했습니다.
Written by
LLM 모델 크기 22% 줄인 Cloudflare, 품질은 그대로인 무손실 압축 원리
Cloudflare가 LLM 모델 크기를 22% 줄이면서 출력 품질은 그대로 유지하는 무손실 압축 시스템 Unweight를 개발했습니다. 핵심 원리와 결과를 소개합니다.
Written by
Grab의 1B Vision LLM: 태국어 정확도 70%p 향상시킨 4단계 훈련 전략
Grab이 1B 파라미터 Vision LLM으로 태국어 문서 정확도 70%p 향상시킨 4단계 훈련 전략. 작은 모델로 큰 성과를 낸 실전 사례를 소개합니다.
Written by
언어 모델 배포 최적화 완전 가이드: 개발자를 위한 실전 기법과 코드 예제
개발자를 위한 언어 모델 크기 최적화 완전 가이드입니다. 지식 증류, 프루닝, 양자화, LoRA 등 핵심 기법들을 실제 코드 예제와 함께 상세히 설명하고, 메모리 사용량을 20-50% 줄이고 추론 속도를 2-5배 향상시키는 실무 적용 방법을 제시합니다.
Written by
AI 추론과 훈련: 인공지능의 두 가지 핵심 단계를 이해하기
AI 시스템의 두 가지 핵심 단계인 ‘훈련(Training)’과 ‘추론(Inference)’에 대해 알아봅니다. 이 두 단계의 차이점과 중요성을 이해하고, AI 시스템이 어떻게 작동하는지 더 깊이 파악해 보세요.
Written by
