AI Model Co-Design은 모델을 먼저 만들고 나중에 하드웨어에 얹는 방식이 아니라, 모델 구조·수치 정밀도·추론 엔진·하드웨어 특성을 동시에 고려하는 설계 접근이다. NVIDIA의 설명처럼 정확도, 지연 시간, 처리량은 따로 최적화할 수 없고 배포 목표 안에서 함께 균형을 잡아야 한다.
왜 중요한가
LLM 성능은 파라미터 수만으로 결정되지 않는다. 같은 모델도 FP16, FP8, FP4, KV cache 형식, attention kernel, batch 크기, 메모리 대역폭에 따라 비용과 지연이 크게 달라진다. 모델 co-design은 학습 단계부터 배포 하드웨어의 강점과 병목을 반영해 “실제로 빠른 모델”을 만드는 데 초점을 둔다.
설계 축
| 축 | 질문 |
|---|---|
| 아키텍처 | dense, MoE, sparse attention 중 어떤 구조가 목표 하드웨어에 맞는가 |
| 정밀도 | FP16, FP8, FP4, INT4 중 품질 손실과 처리량 균형은 어디인가 |
| 메모리 | KV cache, activation, weight streaming이 병목을 만드는가 |
| 런타임 | TensorRT-LLM, vLLM, custom kernel이 모델 구조를 제대로 활용하는가 |
| 평가 | 벤치마크 점수뿐 아니라 latency, throughput, cost per task를 함께 보는가 |
실무 관점
하드웨어 친화적 모델은 단순히 더 작은 모델이 아니다. 예를 들어 MoE는 전체 파라미터는 크지만 활성 파라미터가 작아 토큰당 연산과 메모리 읽기를 줄일 수 있다. FP4 같은 저정밀 표현은 메모리 이동량을 줄이지만, 학습·후처리·kernel 지원이 맞지 않으면 품질 손실이나 운영 복잡도가 커진다.
따라서 co-design의 핵심은 “모델 논문 수치”와 “서빙 비용”을 같은 테이블에서 보는 것이다. 좋은 모델은 벤치마크 점수, 첫 토큰 지연, 토큰 처리량, GPU 메모리 점유율, 배치 효율까지 같이 만족해야 한다.
관련 문서
- vllm — 고처리량·메모리 효율 LLM 추론 엔진
- kv-cache-compression — 긴 컨텍스트 LLM을 가능하게 하는 메모리 최적화
- unified-memory — 로컬 LLM 하드웨어에서 용량과 속도를 가르는 구조
- dflash — 블록 확산으로 LLM 추론 속도를 높이는 기법
참고 자료
- AI Model Co-Design: Hardware-Friendly LLM Design — NVIDIA Technical Blog (2026-07)