Quantization-Aware Healing(QAH)은 구조 압축 후 4비트로 양자화한 LLM의 성능 손실을 회복하는 증류(distillation) 기법이다. 일반적인 배포 파이프라인은 파라미터·레이어·헤드를 줄인 뒤 양자화하고, 손상된 능력을 후속 학습으로 회복한다. 문제는 압축된 구조에는 같은 구조의 고품질 full-precision 교사가 없다는 점이다.
핵심: 복구 체크포인트가 아닌 원래 모델을 교사로 쓴다
QAT(quantization-aware training)는 가짜 양자화를 넣은 task loss로 학습하고, QAD(quantization-aware distillation)는 보통 같은 구조의 full-precision 체크포인트를 교사로 둔다. QAH는 이 가정을 버리고 구조가 다른 압축 전 원래 모델의 logits를 교사로 사용한다.
| 방식 | 교사·손실 | 압축+양자화 상황의 한계 |
|---|---|---|
| QAT | task loss + fake quantization | 비용이 크고 장기 학습에서 불안정할 수 있음 |
| QAD | 같은 구조의 full-precision 모델 KL 증류 | 압축 구조에는 좋은 동형 교사가 없음 |
| QAH | 압축 전 원래 모델의 logits KL 증류 | 원래 모델 추론·logit 준비 비용이 필요 |
교사와 학생의 아키텍처가 달라도 출력 분포는 비교할 수 있다. 이 접근은 양자화를 단순 사후 처리로 보지 않고 원래 교사에게서 한 번 더 배우는 증류 단계로 취급한다. 긴 문서 학습에서는 시퀀스 전체의 vocabulary grid를 만들지 않는 chunked KL loss로 메모리 사용량을 제한한다.
보고된 결과와 해석
GPT-OSS 120B를 60B로 압축하고 MXFP4로 양자화한 실험에서 QAH 모델은 해당 60B BF16 복구 체크포인트보다 9개 벤치마크 중 7개에서 높았다. 특히 장문 추론 AA-LCR은 +7.4점, AIME 2025 수학은 +5.6점이었다. 다만 이는 특정 모델·데이터·평가 조합의 결과다. 모든 4비트 모델이 원본보다 좋아진다는 일반 법칙으로 해석하면 안 된다.
도입 판단
QAH는 이미 구조 압축을 수행하고 원래 대형 모델에 접근할 수 있는 모델 제공자에게 특히 의미가 있다. 일반 사용자는 공개된 QAH 체크포인트의 실제 런타임, 목표 하드웨어의 MXFP4 지원, 관심 태스크 회귀를 우선 확인해야 한다. 양자화 품질은 비트 수만이 아니라 calibration, 커널, KV cache, 평가 데이터에 의해 달라진다.
관련 문서
- local-llm-tips-quality-diagnosis — 로컬 양자화 모델의 체감 품질 저하를 진단하는 방법
- auto-round — LLM과 VLM을 양자화하는 Intel 도구
- llama-cpp — GGUF 기반 로컬 LLM 추론 런타임
참고 자료
- Quantization-Aware Healing: a compressed, 4-bit model that outperforms its full-precision original — Hugging Face / Multiverse Computing (2026-08-25)