배우가 연기한 영상을 찍었는데 배경을 바꾸고 싶다면? 의상을 다르게 입혔어야 했다면? 예전에는 다시 촬영하는 수밖에 없었습니다. 이제 AI가 배우의 연기는 그대로 보존하면서 나머지는 완전히 바꿔줍니다.
AI 영상 생성 스타트업 Luma AI가 Ray3 Modify라는 새로운 모델을 공개했습니다. 이 모델의 핵심은 실제 배우가 연기한 영상 위에 AI를 입혀서 원하는 대로 수정하는 ‘하이브리드 AI 워크플로우’입니다. 특히 시작 프레임과 끝 프레임만 제공하면 그 사이 과정을 자연스럽게 채워주는 기능이 눈에 띕니다.
출처: Luma AI Announces Ray3 Modify – Luma AI 보도자료
배우의 연기는 보존하고, 나머지는 AI로
Ray3 Modify의 가장 큰 특징은 원본 영상의 ‘퍼포먼스’를 건드리지 않는다는 점입니다. 배우의 동작, 타이밍, 시선, 감정 표현은 그대로 유지하면서 외형이나 배경만 바꿀 수 있죠.
예를 들어 현대 의상을 입은 배우가 연기한 장면을 판타지 의상으로 바꾸거나, 실내 촬영분을 야외 배경으로 옮기는 식입니다. 심지어 배우를 완전히 다른 캐릭터(신화 속 생명체나 가상의 인물)로 변환하면서도 원래 연기의 뉘앙스는 살릴 수 있습니다. Luma는 이를 “캐릭터 레퍼런스” 기능으로 구현했는데, 한 번 설정한 캐릭터의 외형과 의상, 정체성을 영상 전체에 걸쳐 일관되게 유지해줍니다.
시작과 끝만 주면 중간 과정은 AI가
이번에 새로 추가된 핵심 기능은 “키프레임 제어”입니다. 크리에이터가 시작 프레임과 끝 프레임 두 장만 제공하면, AI가 그 사이의 전환 과정을 자동으로 생성해줍니다.
이게 왜 중요할까요? 기존 AI 영상 생성은 텍스트 프롬프트에 의존했기 때문에 결과를 정확히 예측하기 어려웠습니다. 하지만 명확한 시작점과 도착점을 제시하면 AI가 만들어낼 중간 과정을 훨씬 더 세밀하게 통제할 수 있죠. Luma는 이를 통해 복잡한 카메라 움직임이나 장면 전환, 캐릭터의 행동 변화를 더 예측 가능하게 만들었다고 설명합니다.
공식 블로그에서 소개한 사례를 보면 마법 같은 장면 전환, 가상 군중 생성, 문을 통과하며 완전히 다른 세계로 이동하는 장면 등이 가능합니다. 모두 실제 배우가 연기한 영상을 기반으로 하되, AI가 불가능했던 요소들을 추가하는 방식이죠.
영상 제작 워크플로우가 바뀐다
Luma의 CEO Amit Jain은 성명에서 이렇게 말했습니다. “생성형 비디오 모델은 엄청난 표현력을 가지고 있지만 통제하기 어려웠습니다. Ray3 Modify는 현실 세계와 AI의 표현력을 결합하면서도 크리에이터에게 완전한 통제권을 줍니다.”
실제로 이 기술은 영상 제작 비용과 시간을 대폭 줄일 수 있습니다. 촬영 현장에서 배우의 연기를 캡처한 뒤, 나중에 AI로 배경, 의상, 조명, 심지어 날씨까지 바꿀 수 있으니까요. 물리적으로 재촬영할 필요가 없어집니다. 광고나 영화 제작에서 이런 유연성은 엄청난 장점이죠.
물론 한계도 있습니다. Luma는 수정 강도 설정을 실험해볼 것을 권장하며, 특정 종횡비로 자동 크롭되는 과정에서 품질이 저하될 수 있다고 밝혔습니다. 하지만 전반적으로 이 기술은 “텍스트 프롬프트 없이, 실제 연기로 지시하는” 새로운 제작 방식의 가능성을 보여줍니다.
Ray3 Modify는 현재 Luma의 Dream Machine 플랫폼에서 사용할 수 있습니다. Luma는 지난 11월 사우디아라비아의 국부펀드가 소유한 AI 기업 Humain이 주도한 9억 달러 투자 라운드를 마쳤으며, 사우디에 2GW 규모의 AI 클러스터를 구축할 계획입니다.
참고자료:
답글 남기기