지난 3년간 AI는 읽고 요약하고 쓰는 ‘언어’의 이야기였습니다. 2026년, 그 무게중심이 다음 단어가 아니라 다음 ‘세계의 상태’를 예측하는 모델로 옮겨가고 있습니다.

‘월드 모델(world model)’의 부상을 다룬 Techstrong.ai의 특별 리포트를 계기로, 구글 딥마인드와 메타의 발표, 그리고 관련 벤치마크 논문을 함께 살펴봤습니다. 다음 토큰을 맞히는 대신 방, 도로, 로봇 팔 같은 세계 자체의 다음 상태를 한 걸음 앞서 예측하는 새로운 아키텍처가 이 흐름의 핵심입니다.

출처: From Words to Worlds: The Rise of World Models – Techstrong.ai

언어 모델과 무엇이 다른가

메타는 이 개념을 테니스공으로 설명합니다. 공을 위로 던지면 중력이 끌어내린다는 걸 우리는 압니다. 공이 공중에 멈추거나 갑자기 사과로 변하면 놀라겠죠.

이런 물리 직관은 학교에서 배운 게 아닙니다. 아이는 말을 배우기도 전에 세상을 관찰하며 익힙니다. 낯선 인파 속을 걸을 때 사람들과 부딪치지 않게 움직이고, 요리할 때 냄비를 언제 불에서 내릴지 가늠하는 것도 같은 능력이죠.

사람은 행동하기 전에 머릿속 시뮬레이터로 결과를 미리 그려봅니다. 월드 모델은 AI에 바로 이 내부 시뮬레이터를 심으려는 시도입니다. 문장을 그럴듯하게 잇는 언어 모델과 달리, 환경이 어떻게 변할지 그리고 내 행동이 거기에 어떤 영향을 줄지를 예측하는 게 목표죠.

벌써 제품이 된 두 갈래

구글 딥마인드의 Genie 3는 문장 하나로 상호작용 가능한 3D 환경을 만들어냅니다. 사용자가 24fps로 실시간 탐색할 수 있고, 720p 해상도에서 수 분간 일관성을 유지하죠.

여기엔 만만찮은 기술 난제가 깔려 있습니다. Genie 3는 매 프레임을 자기회귀 방식으로 생성하는데, 시간이 흐르며 쌓인 이전 경로를 계속 참고해야 합니다. 1분 전 지나온 장소로 되돌아가면 그때의 정보를 다시 불러와야 하고, 이 계산이 사용자의 입력에 맞춰 초당 여러 번 일어나야 하죠. 딥마인드는 월드 모델을 AGI로 가는 디딤돌로 봅니다. 무한히 다양한 시뮬레이션 환경에서 에이전트를 훈련시킬 수 있기 때문입니다.

투자도 이 방향으로 쏠립니다. 페이페이 리의 World Labs는 AMD, 오토데스크, NVIDIA 등으로부터 10억 달러를 유치했죠. 이들의 첫 제품 Marble은 이미지나 영상, 텍스트로부터 공간적으로 일관되고 오래 유지되는 3D 세계를 만들어내는 도구입니다.

‘월드 모델’이 뭔지도 아직 안 정해졌다

흥미롭게도 두 접근은 근본부터 다릅니다. Genie가 픽셀, 즉 눈에 보이는 영상을 직접 생성하는 쪽이라면, 메타의 V-JEPA 2는 다른 길을 택했죠.

V-JEPA 2는 12억 파라미터 모델로, 메타가 2022년 처음 공개한 JEPA(결합 임베딩 예측 구조) 위에 세워졌습니다. 이 모델은 영상을 만들어내는 대신 ‘표현(임베딩) 공간’에서 다음 상태를 예측합니다. 픽셀을 그리지 않고도 세계를 이해하고 예측하며, 처음 보는 물체를 다루는 로봇의 제로샷 계획까지 해내는 게 특징이죠.

그래서 이 분야는 “무엇이 월드 모델이냐”조차 합의하지 못한 상태입니다. 어떤 것은 신경망 물리 시뮬레이터, 어떤 것은 생성형 비디오 엔진, 또 어떤 것은 임베딩에서 예측하는 정책 모델입니다. 이름은 같지만 속은 서로 다른 셈이죠.

얼마나 잘하나, What-If World가 드러낸 것

성능을 재는 방식 자체가 최근 바뀌고 있습니다. What-If World 벤치마크의 문제의식이 날카롭습니다. 중요한 건 영상 하나가 그럴듯해 보이느냐가 아니라, 입력을 바꿨을 때 출력이 물리 법칙대로 바뀌느냐라는 것.

연구팀은 같은 장면을 두고 물리 변수 하나만 바꾼 두 프롬프트를 줍니다. 그리고 두 영상이 물리가 예측하는 방향으로 갈라지는지 확인하죠. 기존 벤치마크는 영상을 하나씩 채점하기 때문에 이 실패를 못 잡습니다. 각각은 그럴듯한데 둘의 차이가 엉뚱할 수 있으니까요.

벤치마크는 주행 데이터 nuScenes와 로봇 조작 데이터 DROID의 실제 프레임 위에 만든 319개 프롬프트 쌍으로, 여섯 가지 물리 변수를 다룹니다. 결과는 냉정하죠. 최신 모델 9개 중 어느 것도 짝 점수 52%를 넘지 못했고, 오픈소스 모델은 28% 부근에 몰렸습니다. 게다가 성능이 물리의 어려움이 아니라 ‘변화가 눈에 띄는 정도’를 따라갔습니다. 눈에 잘 안 띄는 개입은 14.2%까지 떨어졌고, 뚜렷한 개입은 40.4%까지 올라갔죠. “그럴듯해 보인다”와 “물리처럼 행동한다” 사이의 간극이 수치로 드러난 셈입니다.

언어 다음의 방향

이 흐름이 겨냥하는 상업 전선은 로보틱스, 자율주행, 미디어, 엔터프라이즈 시뮬레이션 네 갈래입니다. 리포트에 따르면 한 분기에만 월드 모델 기업 네 곳이 약 35억 달러를 끌어모았고, Waymo와 Waabi는 자율주행 스택을 이 위에 다시 세웠습니다.

비개발자 입장에서 지금 당장 손에 쥘 도구는 아닙니다. 벤치마크 수치가 보여주듯 아직 물리를 제대로 다루지 못하는 연구 단계에 가깝죠. 다만 AI의 다음 목표가 ‘텍스트를 잘 다루는 것’을 넘어 ‘세계를 이해하는 것’으로 옮겨가고 있다는 신호만큼은 분명합니다. 언어 모델이 기계에게 말하는 법을 가르쳤다면, 월드 모델은 기계에게 자신이 어디에 있는지를 가르치려 합니다.

참고자료:

• Genie 3: A new frontier for world models – Google DeepMind
• Introducing the V-JEPA 2 world model and new benchmarks – Meta AI
• What-If World: A Causal Benchmark for General World Models – Cai et al.
• World Labs Announces New Funding – World Labs