Nonuniform Tensor Parallelism(NTP)은 대규모 LLM 학습에서 일부 GPU가 일시적으로 사용할 수 없을 때 전체 학습 작업을 멈추지 않고 텐서 병렬도(tensor parallelism)를 동적으로 낮춰 유용한 학습 처리량(Goodput)을 유지하는 실험적 병렬화 기법이다. NVIDIA는 Blackwell/Blackwell Ultra 같은 대형 NVLink scale-up 도메인에서 이런 탄력성이 더 중요해진다고 설명한다.
배경: Throughput보다 Goodput
LLM 학습은 수천 개 GPU에서 며칠 또는 몇 주 동안 실행된다. 이 기간이 길어질수록 단일 GPU 장애, 일시적 리소스 손실, 전력·열 제한 같은 사건이 생길 가능성이 높아진다.
단순 처리량(throughput)은 하드웨어가 얼마나 많은 연산을 했는지를 보지만, Goodput은 수렴에 실제로 기여한 유용한 학습 작업을 본다. 장애가 생긴 GPU 때문에 동기화가 멈추거나 체크포인트 재시작을 반복하면 raw throughput이 아니라 Goodput이 급격히 떨어진다.
핵심 아이디어
기존 텐서 병렬화에서는 하나의 scale-up 도메인 안 GPU들이 같은 TP 그룹으로 묶인다. 예를 들어 TP degree 8에서 GPU 하나가 빠지면 해당 그룹 전체가 병목이 되거나 재시작이 필요하다.
NTP는 이 상황에서 영향을 받은 그룹만 TP degree를 8에서 7처럼 낮춘다. 남은 GPU가 모델 shard를 재분배해 계산을 계속 수행하므로 데이터 병렬(data parallelism, DP) replica 하나를 통째로 잃지 않는다.
세 가지 구성 요소
| 구성 요소 | 역할 |
|---|---|
| Dynamic TP degree adaptation | 장애가 생긴 scale-up 도메인에서 사용 가능한 GPU 수에 맞춰 텐서 병렬도를 조정 |
| Power boosting | GPU 수가 줄어 느려진 replica가 다른 replica를 기다리게 하지 않도록 남은 GPU의 클럭·전력 여유를 활용 |
| Efficient resharding | backward computation과 gradient sync 단계에 shard 재배치를 겹쳐 오버헤드를 숨김 |
NVIDIA 글은 재분배 오버헤드를 1% 미만으로 줄이는 것을 목표로 설명한다. 핵심은 장애 복구 자체가 또 다른 동기화 병목이 되지 않도록 resharding을 학습 파이프라인 안에 겹쳐 넣는 것이다.
왜 Blackwell 세대에서 중요해지나
NVIDIA Blackwell/Blackwell Ultra 시스템은 NVLink로 72개 GPU 규모의 큰 scale-up 도메인을 구성할 수 있다. 도메인이 커질수록 한 도메인 안에서 일부 장치가 일시적으로 느려지거나 빠질 확률도 커진다. NTP는 이런 대형 도메인에서 “대부분의 정상 GPU가 계속 유용한 일을 하게 만드는” 방향의 소프트웨어 계층이다.
Megatron Core와 NVRx
NTP는 NVIDIA Megatron Core 개발 브랜치의 README_NONUNIFORM_TP.md에서 구현 세부 정보를 확인할 수 있다. 운영 환경의 일반적인 fault tolerance와 resiliency 기능은 NVIDIA Resiliency Extension(NVRx)도 함께 봐야 한다.
누가 쓰면 좋은가
- 대규모 학습 인프라 팀: 수천 GPU 학습 작업의 장애 비용과 재시작 비용을 줄이고 싶은 경우
- 분산 학습 프레임워크 개발자: TP/DP/EP 조합에서 탄력적 병렬화 설계를 연구하는 경우
- AI 데이터센터 아키텍트: 전력·열·네트워크 설계와 학습 런타임을 함께 최적화해야 하는 경우
참고 자료
- Enhancing Goodput in Large-Scale LLM Training with Nonuniform Tensor Parallelism — NVIDIA Technical Blog (2026-07-06)
- Nonuniform Tensor Parallelism — arXiv
- NVIDIA Resiliency Extension — GitHub 공식 저장소