그동안 이미지 생성 모델과 영상 모델, 음성 모델은 각자 따로였습니다. Black Forest Labs의 새 모델 FLUX 3는 이 셋을 한 아키텍처에서 함께 배웁니다.

FLUX.1 이미지 모델로 이름을 알린 독립 연구소 Black Forest Labs가 첫 멀티모달 파운데이션 모델 FLUX 3를 얼리 액세스로 공개했습니다. 이미지, 영상, 오디오를 하나의 통합 아키텍처에서 함께 학습했고, 로봇의 행동 예측까지 확장되는 모델이죠. 이미지 도구를 넘어 ‘현실을 이해하는 모델’을 만들겠다는 방향이 깔려 있습니다.

출처: FLUX 3: Multimodal Video, Image & Audio – Black Forest Labs

왜 굳이 한 모델로 묶었나

핵심 발상은 “각 모달리티가 같은 현실의 서로 다른 투영”이라는 것입니다.

BFL의 설명을 풀면 이렇습니다. 이미지는 특정 순간의 공간 구조를 담고, 영상은 거기에 시간을 되살려 움직임과 물리 법칙을 드러냅니다. 소리는 눈으로는 알 수 없는 인과, 이를테면 충돌과 그로 인한 음향의 관계를 알려주죠. 하나만 배우면 그 한 조각만 잘 아는 모델이 됩니다.

그런데 셋을 한꺼번에 배우면 서로가 서로를 제약하죠. 소리는 충격과 맞아야 하고, 움직임은 질량을 따라야 하며, 다음 장면은 앞 장면에서 이어져야 합니다. 이 상호 제약이 각 모달리티를 ‘따로 노는 데이터’가 아니라 ‘하나의 현실에 대한 증거’로 묶어줍니다. 물리 법칙이 결과물에 더 잘 배어드는 이유죠.

BFL은 이 통합 학습을 자사의 Self-Flow 방식 위에서 규모를 키워 구현했다고 밝혔습니다.

무엇을 만들어내나

가장 눈에 띄는 능력은 영상입니다. FLUX 3는 소리가 입혀진 영상을 한 번의 생성으로 최대 20초까지 만들어냅니다. 따로 만든 영상과 오디오를 나중에 붙이는 게 아니라, 처음부터 함께 나오는 방식이죠.

세부 기능도 여러 갈래죠. 텍스트로 영상을 만드는 것은 물론, 시작 프레임에서 이어가는 애니메이션이나 이미지를 참조로 쓰는 영상 생성, 원본 클립의 캐릭터를 새 장면으로 옮기는 영상-투-영상까지 됩니다. 텍스트만이 아니라 이미지나 영상을 입력 참조로 넣어 이미지와 영상+오디오를 섞어 생성할 수도 있습니다.

이 모델을 직접 다뤄본 Replicate는 프롬프트를 조밀하게 쓰지 않아도 방향을 잘 잡는다는 점을 꼽았습니다. 움직임이나 분위기의 세부를 모델에 맡기고 짧은 문장만 넣어도 꽤 만족스러운 결과가 나온다는 얘기죠. 다만 여기 소개된 성능은 BFL의 자체 발표와 자체 평가에 기반한 것으로, 독립 벤치마크 결과는 아직 아닙니다.

영상과 소리가 한 번에 나온다는 것

크리에이터 입장에서 가장 실질적인 변화는 작업이 한 번에 끝난다는 점이죠. 영상을 뽑고, 따로 소리를 입히고, 싱크를 맞추던 여러 단계가 한 번의 생성으로 줄어듭니다. 프롬프트를 길게 다듬지 않아도 된다는 점도 진입 장벽을 낮춥니다.

한 걸음 물러나 보면, 이미지 회사가 ‘영상+오디오+행동’까지 한 모델에 담으려 한다는 흐름 자체가 눈여겨볼 대목입니다. 각 모달리티를 따로 잘하는 것을 넘어, 하나의 현실 모델을 만들어 로봇의 행동 예측까지 노리는 쪽으로 방향을 잡았으니까요. 지금은 얼리 액세스 단계라 누구나 바로 쓸 수 있는 건 아니고, 프런티어급 모델인 만큼 접근과 비용은 따져봐야 합니다. 각 기능의 예시 영상과 통합 학습의 세부는 원문에 더 담겨 있습니다.

참고자료: The Ultimate Guide to FLUX 3 – Replicate