Weak-to-Strong Diffusion with Reflection(W2SD)은 ICML 2025에 제출된 논문으로, 기존 확산 모델(diffusion model) 두 개(약한 모델 + 강한 모델)의 스코어 차이를 이용해 샘플링 궤적을 실제 데이터 분포 쪽으로 교정하는 프레임워크다. 별도 파인튜닝 없이 인간 선호도·미적 품질·프롬프트 정합성을 동시에 높인다.
배경
확산 모델은 학습 데이터 품질, 모델링 전략, 아키텍처 한계로 인해 생성 결과와 실제 데이터 사이에 불가피한 격차가 생긴다. 기존 접근법(파인튜닝, RL)은 추가 비용이 크다.
핵심 아이디어
W2SD는 다음 두 단계를 교대 반복한다:
- 디노이징(Denoising): 강한 모델로 노이즈를 제거
- 인버전(Inversion): 약한-강한 차이(weak-to-strong difference)만큼 다시 인버트
이 반사(reflection) 연산이 잠재 변수를 실제 데이터 분포 영역으로 끌어당기는 효과를 가진다.
$$\text{w2s difference} = \epsilon_{\text{strong}}(x_t) – \epsilon_{\text{weak}}(x_t)$$
유연한 모델 페어링
W2SD는 약한/강한 모델 쌍을 다양하게 구성할 수 있어 적용 범위가 넓다:
| 페어링 예시 | 효과 |
|---|---|
| DreamShaper vs. SD 1.5 | 전반적 품질 향상 |
| 좋은 MoE 전문가 vs. 나쁜 전문가 | MoE 아키텍처 특화 개선 |
| 도메인 특화 모델 vs. 범용 모델 | 특정 스타일 강화 |
실험 결과
- Juggernaut-XL + W2SD: HPSv2 기준 원본 대비 90% 이상 승리율
- 이미지·동영상 모두 적용 가능 (UNet, DiT, MoE 아키텍처 공통)
- 추가 계산 비용 대비 품질 향상 폭이 월등히 큼
- 여러 weak-to-strong 차이를 누적 적용하면 개선 효과가 복합 증가
관련 정보
- arXiv: 2502.00473
- 저자: Lichen Bai, Masashi Sugiyama, Zeke Xie
- 제출: 2025년 2월, v3: 2025년 4월
관련 문서
- i-dlm — 확산 언어 모델의 품질·속도 균형 개선 연구