게임 그래픽에서 AI는 주로 렌더링의 마지막 단계에 등장했습니다. 최종 이미지를 받아 해상도를 높이고, 프레임을 보완하는 식이었죠. 그런데 Nvidia는 이번에 AI를 훨씬 더 이른 단계, 즉 텍스처와 재질 데이터가 저장되는 방식 자체에 집어넣었습니다.

Nvidia가 GTC 2026에서 공개한 Neural Texture Compression(NTC)과 Neural Materials(NM)는 RTX Kit이라는 신경 렌더링 SDK 묶음의 일부입니다. “Tuscan Wheels” 데모에서 VRAM 사용량이 기존 BCN 압축 방식의 6.5GB에서 970MB로 줄었다는 수치가 핵심입니다. 같은 메모리 예산 안에서도 NTC는 기존 블록 압축보다 더 많은 디테일을 보존했습니다.

출처: Get Started with Neural Rendering Using NVIDIA RTX Kit – NVIDIA Technical Blog

텍스처를 ‘저장’하는 방식을 바꾼다

기존 텍스처 압축(BCN)은 픽셀 블록 단위로 색상 정보를 압축해 저장합니다. 오래 검증된 방식이지만, 고해상도 자산이 늘수록 VRAM을 빠르게 잠식합니다.

NTC는 이 접근을 뒤집습니다. 텍스처를 그대로 압축하는 대신, 작은 신경망이 텍스처의 패턴과 구조를 학습해 압축된 잠재 표현(latent representation)으로 변환합니다. 렌더링 시에는 이 신경망이 실시간으로 원래 텍스처를 복원하는 식으로 작동합니다. 마치 악보를 저장해 두고 필요할 때 연주하는 것과 비슷합니다. 데이터를 원본 그대로 쌓아두는 게 아니라, 그것을 재생성할 수 있는 ‘공식’을 저장해 두는 셈입니다.

Nvidia는 NTC가 전통적인 블록 압축 대비 VRAM을 최대 8배까지 줄일 수 있다고 밝힙니다. 부산물로 게임 설치 용량 감소, 패치 크기 축소, 다운로드 대역폭 절감도 기대됩니다.

재질 연산도 압축한다, Neural Materials

Neural Materials는 같은 원리를 재질 데이터와 셰이딩 연산에 적용합니다. 게임에서 표면의 반사, 질감, 광택 등을 표현하는 BRDF(양방향 반사도 분포 함수) 연산은 채널 수가 많을수록 무거워집니다.

Nvidia는 19개 채널로 구성된 재질을 8개로 압축하는 데모를 보여줬고, 이 장면에서 1080p 렌더링 속도가 1.4~7.7배 빨라졌다고 밝혔습니다. 데이터를 줄이는 게 아니라, 신경망이 재질의 행동 방식을 학습해 더 효율적인 표현으로 대체하는 방식입니다.

DLSS와 다른 위치, 다른 역할

Nvidia가 NTC와 NM을 강조하는 배경에는 DLSS에 대한 일부 반감도 있습니다. DLSS처럼 AI가 최종 이미지를 재구성하면 아티스트가 의도한 비주얼이 변형된다는 우려가 개발자와 플레이어 사이에서 꾸준히 제기돼 왔습니다.

NTC와 NM은 이와 정반대의 지점에서 작동합니다. 최종 화면이 아니라 파이프라인 초기의 자산 저장 방식과 연산 구조를 바꾸기 때문에, 게임의 시각적 정체성에는 손을 대지 않습니다. Nvidia가 이 기술을 “보이지 않는 파이프라인”이라 표현하는 이유입니다.

두 기술은 현재 RTX Kit의 일부로 GitHub에서 SDK 형태로 제공되고 있습니다. 다만 현재까지 실제 게임에 적용한 사례는 아직 없습니다. 기술의 준비도와 실제 도입 사이에 아직 간극이 있다는 뜻입니다. NTC의 아키텍처와 품질 비교 등 기술적 세부사항은 Nvidia의 공식 블로그와 연구 페이지에서 확인할 수 있습니다.

참고자료:

• Nvidia shows neural compression can cut VRAM usage from 6.5GB to 970MB – TechSpot
• NVIDIA-RTX/RTXNTC – GitHub (RTX Neural Texture Compression SDK)
• NVIDIA-RTX/RTX-Kit – GitHub (RTX Kit 전체 저장소)