LLM 파인튜닝에서 LoRA는 가장 널리 쓰이는 파라미터 효율 파인튜닝(PEFT) 기법이다. 하지만 Hugging Face의 PEFT 벤치마크는 LoRA가 좋은 기준선이면서도 작업과 지표에 따라 다른 기법이 더 나은 trade-off를 낼 수 있음을 보여준다.
비교할 지표
| 지표 | 왜 중요한가 |
|---|---|
| 테스트 성능 | 정확도, similarity, task score 같은 최종 품질 |
| 피크 VRAM | 단일 GPU/소형 GPU에서 학습 가능한지 |
| 런타임 | 학습 시간과 추론 비용 |
| 체크포인트 크기 | 배포·저장·어댑터 hot-swap 비용 |
| 서빙 호환성 | vLLM, llama.cpp, TGI 등에서 바로 로드 가능한지 |
예를 들어 LLM 수학 벤치마크에서는 LoRA 계열이 Pareto frontier에 있지만, 이미지 생성 벤치마크에서는 OFT가 LoRA보다 높은 similarity와 낮은 메모리 사용을 동시에 보일 수 있다. 또한 “vanilla LoRA”보다 rs-LoRA, LoRA-FA 같은 변형이 더 나은 점수를 낼 수 있다.
실무 결론
- LoRA를 첫 실험의 기준선으로 삼되, 자동 기본값으로 고정하지 않는다.
peft의 통합 API를 활용해 OFT, DoRA, BEFT, Lily, LoRA-FA 등을 같은 데이터와 지표로 비교한다.- 다운스트림 서빙이 LoRA만 지원하면, 비-LoRA 어댑터를 LoRA checkpoint로 변환할 수 있는지 확인한다.
- 논문 벤치마크보다 자기 데이터의 품질 지표, VRAM, 배포 경로가 더 중요하다.
참고 자료
- Beyond LoRA: Can you beat the most popular fine-tuning technique? — Hugging Face Blog (2026-06-22)