JoyAI-Echo는 JD의 Joy Future Academy가 공개한 장문 오디오-비디오 생성 프레임워크다. 텍스트 프롬프트 JSON을 여러 샷으로 나누고, 이전 샷의 시각 정체성과 음성 맥락을 메모리로 유지해 최대 5분 수준의 멀티샷 이야기를 생성하는 것을 목표로 한다.
짧은 텍스트-투-비디오 모델은 한두 장면은 만들 수 있지만, 여러 샷에 걸친 인물 외형, 목소리, 스타일, 이야기 흐름을 유지하기 어렵다. JoyAI-Echo는 이 문제를 paired cross-modal memory bank와 DMD(distribution matching distillation) 기반 few-step inference로 해결하려 한다. 2026년 7월 13일 기준 GitHub 스타는 약 1.8k다.
핵심 아이디어
| 구성 | 설명 |
|---|---|
| 멀티샷 프롬프트 | JSON 파일의 prompts 배열에서 각 문자열을 하나의 완성 샷으로 처리 |
| 크로스모달 메모리 | 이전 샷의 인물 외형과 음성 문맥을 다음 샷 조건으로 사용 |
| DMD 증류 | 기존 다단계 파이프라인 대비 약 7.5배 빠른 추론을 목표로 하는 few-step 생성 |
| 오디오-비디오 동시 생성 | 영상과 동기화된 오디오를 하나의 파이프라인에서 생성 |
| 대화형 편집 방향 | 향후 Director Agent와 초해상도(Echo-SR) 공개 예정 |
공개 범위와 제한
현재 릴리스는 inference-only다. 코드와 체크포인트는 제공되지만, 이미지-투-비디오(I2V)는 아직 지원하지 않는다. 공식 파이프라인은 생성된 텍스트-투-비디오(T2V) 샷에서 메모리를 만들고, 그 메모리를 다음 샷 생성에 사용한다.
연구팀이 보고한 스케일은 다음과 같다.
| 항목 | 값 |
|---|---|
| 장문 스토리 길이 | 5분 |
| 기존 파이프라인 대비 속도 향상 | 7.5배 |
| 평가 스토리 | 100개 |
| 평가 샷 | 3,000개 |
| 샷당 프레임 | 241 frames @ 25 fps |
설치와 실행
기준 환경은 Python 3.11, PyTorch 2.8, CUDA 12.8이다.
git clone https://github.com/jd-opensource/JoyAI-Echo.git
cd JoyAI-Echo
conda env create -f environment.yml
conda activate echo-longuv를 쓰는 경로도 제공된다.
uv venv --python 3.11 .venv
source .venv/bin/activate
uv pip install --extra-index-url https://download.pytorch.org/whl/cu128 -r requirements.txt체크포인트는 별도로 받아 checkpoints/ 아래에 둔다.
| 파일 | 설명 | 크기 |
|---|---|---|
echo-longvideo-release.safetensors | transformer, VAE, vocoder 포함 모델 | 약 46GB |
gemma-3-12b/ | instruction-tuned text encoder | 약 24GB |
실행은 기본적으로 모든 prompt 파일을 한 번 로드해 처리한다.
python inference.py하드웨어 요구사항
기본 설정인 25fps, 241 frames, 1280×736 해상도 기준 peak GPU 사용량은 약 46-50GB로 안내되어 있다. 단일 H100/A100 80GB 또는 48GB급 GPU가 현실적인 기준이다. 작은 GPU에서는 프레임 수를 줄인다.
python inference.py --num-frames 121언제 유용한가
- AI 비디오 연구자: 긴 샷 간 일관성과 오디오-비디오 동시 생성을 실험할 때
- ComfyUI 사용자: 공식 파이프라인에 가까운
ComfyUI_JoyAI_Echo노드로 멀티샷 실험을 하고 싶을 때 - 스토리 기반 영상 제작팀: DramaClaw 같은 제작 파이프라인에서 장문 생성 모델 후보를 검토할 때
라이선스와 사용 범위
저장소는 LTX-2 기반이며, README는 “academic research and non-commercial use only”라고 명시한다. 상업적 사용은 Lightricks 및 관련 라이선스 조건을 별도로 확인해야 한다.
관련 문서
- dramaclaw — 대본에서 완성 영상까지 잇는 AIGC 비디오 제작 엔진
- seedance-2 — 텍스트·이미지·영상·오디오를 동시에 입력하는 ByteDance 영상 생성 모델
- openmontage — AI 코딩 어시스턴트를 영상 제작 스튜디오로 바꾸는 에이전틱 비디오 시스템
- modern-vlms — 최신 비전-언어 모델 흐름
참고 자료
- jd-opensource/JoyAI-Echo — GitHub 공식 저장소
- JoyAI-Echo project page — JD Joy Future Academy
- JoyAI-Echo model weights — Hugging Face