전체 정밀도로 재면 123.6GB짜리 영상 모델입니다. 그런데 RTX 3060 한 장에서 돌아갑니다.
MiniMax가 Hailuo 계열 3세대 영상 모델 H3의 가중치를 공개했고, ComfyUI가 같은 날 네이티브 지원을 붙였습니다. 텍스트·이미지·영상·오디오를 넣으면 최대 2K 해상도, 최대 15초 길이의 영상을 스테레오 사운드까지 얹어 내놓습니다. Hailuo 01과 02를 이은 세 번째 세대이자, 이 회사가 가중치를 푼 첫 영상 모델이죠.
출처: MiniMax H3 Day-0 Support in ComfyUI – ComfyUI Blog
소리를 나중에 붙이지 않는다
H3가 앞선 모델들과 갈리는 지점은 해상도가 아니라 오디오입니다. 대사, 효과음, 주변 소리가 그림과 같은 패스에서 만들어지고 화면 동작에 타이밍이 맞춰져 나옵니다.
기존 작업 흐름을 떠올려보면 차이가 분명해집니다. 영상을 뽑고, 음악을 얹고, 발소리나 문 여닫는 소리를 따로 붙이고, 필요하면 업스케일까지. H3는 이 단계들을 한 번의 호출로 접습니다. 오디오가 후처리가 아니라 모델의 속성이라는 게 ComfyUI의 설명이고, 모든 출력이 네이티브 스테레오로 나옵니다.
화면에 얹히는 글자도 별개 문제로 다뤄집니다. 지난 2년간 AI 영상의 대표적 실패 지점이 바로 읽을 수 없는 타이포그래피였죠. 여기가 버텨준다면 그냥 배경 영상이던 것이 제품명이나 가격을 올릴 수 있는 물건으로 바뀝니다.
입력 네 가지를 한 맥락으로 읽는다
H3는 텍스트, 이미지, 영상, 오디오를 각각 따로 처리하지 않고 하나의 통합 컨텍스트로 읽습니다. 입력들이 서로 어떤 관계인지를 프롬프트로 설명하면, 그 관계를 모델이 알아서 풀어냅니다.
여기서 나오는 작동 방식이 네 가지입니다.
- 텍스트→영상 — 프롬프트만으로 생성
- 이미지→영상 — 정지 이미지에 움직임을 부여
- 첫 프레임·끝 프레임 — 시작과 끝을 지정하면 사이를 모델이 채움
- 참조→영상 — 참조 이미지나 영상, 음성을 넘겨 피사체나 움직임, 목소리를 클립 내내 유지
ComfyUI가 그래프 작업에서 가장 중요하다고 꼽은 건 네 번째의 모션 전이입니다. 참조 영상은 카메라 무빙이나 연기, 컷 리듬 같은 ‘움직임’만 공급하고, 피사체와 스타일은 다른 데서 가져오는 방식이죠. 같은 장면을 반복해서 다듬어나가는 작업이 여기서 가능해집니다.
123GB를 42GB로 접은 방법
소비자용 하드웨어에서 이걸 돌리는 데는 별도의 엔지니어링이 들어갔습니다.
ComfyUI가 찾은 건 modulation weight였습니다. 이 부분이 전체 파라미터의 약 40%를 차지하는데, 이걸 통째로 쳐내고 기능적으로 동등한 룩업 테이블로 바꿔도 출력 품질에 손실이 없더라는 것. 값을 계산해서 얻는 대신 미리 만들어둔 표에서 찾아 쓰는 방식으로 바꾼 셈입니다.
여기에 두 가지가 더 얹힙니다. 배포되는 가중치 자체에 int8 convrot 양자화가 적용돼 있고, 추론 중 최대 VRAM 사용량을 낮추는 전용 커널이 들어갔습니다.
세 가지를 합친 결과가 66% 감소입니다. 전체 정밀도 123.6GB에서 가장 작은 변형 기준 42.5GB로 떨어졌죠. 여기에 동적 VRAM 오프로딩까지 붙이면 RTX 3060급 GPU에서 로컬 실행이 됩니다.
다만 이 수치는 ComfyUI가 자체적으로 측정해 발표한 값입니다. 독립 검증 결과는 아직 나오지 않았습니다.
어디까지 확인됐나
외부 평가는 따로 있습니다. Artificial Analysis는 H3를 Video Editing 부문 1위, Text to Video와 Image to Video에서 각각 상위 3위에 올렸습니다.
가격은 서드파티 제공사마다 다른데, Segmind 기준으로 2K 영상이 초당 0.1625달러입니다. 6초짜리 한 편에 약 0.98달러, 최대 길이인 15초는 약 2.44달러죠. 길이에 정확히 비례해서 붙는 구조입니다.
한 가지 함정이 있습니다. 가격표에는 초당 0.1125달러인 768P 등급이 적혀 있지만, 지금 API의 resolution 값은 2K 하나만 받습니다. 768P는 MiniMax 자체 플랫폼에서 비공개 베타로 묶여 있죠. 무엇을 고르든 2K 요금이 나간다는 뜻입니다.
라이선스는 M3에 적용됐던 것과 같은 MiniMax Community License입니다. 비상업 용도는 자유롭고, 연 매출 2천만 달러 미만 조직까지는 상업적 사용이 열려 있습니다.
로컬로 내려오는 조건
이번 공개에서 눈여겨볼 건 모델 성능만이 아닙니다. 123GB짜리를 3060에 올린 쪽은 MiniMax가 아니라 ComfyUI였죠. 가중치가 열려 있으니 파라미터 구조를 뜯어보고 40%를 들어낼 수 있었던 겁니다.
닫힌 모델이었다면 이 최적화는 애초에 시도할 수 없는 일이었습니다. 오픈웨이트가 실제로 무엇을 바꾸는지, 이번 건이 꽤 선명한 예를 하나 남겼습니다.
참고자료:
답글 남기기