AI에게 게임을 가르치는 게 왜 중요할까요? 단순히 게임을 잘하는 AI를 만들려는 게 아닙니다. 게임은 복잡한 3D 세계에서 목표를 이해하고, 계획을 세우고, 행동하는 법을 배우는 최고의 훈련장이죠. 그리고 이 능력은 결국 로봇이 현실 세계에서 작동하는 데 필요한 바로 그 능력입니다.

구글 DeepMind가 발표한 SIMA 2는 이 여정에서 중요한 이정표입니다. 작년에 공개된 SIMA(Scalable Instructable Multiworld Agent)가 “왼쪽으로 가”, “사다리를 올라가”같은 기본 명령을 따르는 수준이었다면, SIMA 2는 Gemini 모델을 통합해 명령을 단순히 실행하는 게 아니라 이해하고 추론합니다. 처음 보는 게임에서도 작동하고, 심지어 스스로 학습하며 발전하죠.

구글 DeepMind가 발표한 연구로, SIMA(Scalable Instructable Multiworld Agent)의 차세대 버전인 SIMA 2를 소개합니다. 단순 명령 수행에서 추론과 자기개선이 가능한 범용 AI 에이전트로 진화했으며, 이는 AGI(범용 인공지능)를 향한 구체적인 단계로 평가됩니다.

출처: SIMA 2: An Agent that Plays, Reasons, and Learns With You in Virtual 3D Worlds – Google DeepMind

Gemini가 가져온 추론 능력

SIMA 2의 가장 큰 변화는 Gemini 모델을 핵심에 통합했다는 점입니다. 이전 버전이 600개 이상의 기술(“지도 열기”, “계단 오르기” 등)을 학습했다면, SIMA 2는 사용자의 고수준 목표를 이해하고 그에 맞춰 복잡한 추론을 수행합니다.

예를 들어 “광석을 채굴해줘”라는 명령을 받으면, SIMA 2는 단순히 곡괭이를 휘두르는 게 아니라 어디로 가야 하는지, 어떤 도구가 필요한지, 어떤 순서로 행동해야 하는지를 스스로 판단합니다. 그리고 자신이 무엇을 하려는지, 어떤 단계를 밟고 있는지 사용자에게 설명할 수도 있죠.

연구팀은 “명령을 내리는 느낌이 아니라 과제를 함께 고민하는 동료와 협업하는 느낌”이라고 표현했습니다. 이는 Gemini의 세계적 수준 추론 엔진이 복잡한 3D 환경에서 인식하고, 이해하고, 행동하는 구현 AI(embodied AI)로 작동하는 첫 사례입니다.

처음 보는 세계에서도 작동한다

SIMA 2의 일반화 능력은 놀랍습니다. Valheim, No Man’s Sky 같은 게임으로 학습했지만, 학습에 전혀 사용되지 않은 MineDojo(마인크래프트 연구용 구현)나 ASKA(바이킹 생존 게임)에서도 복잡한 작업을 수행합니다. 한 게임에서 배운 “채굴” 개념을 다른 게임의 “수확”에 적용하는 식이죠.

더 극단적인 테스트도 있었습니다. DeepMind는 SIMA 2를 Genie 3라는 또 다른 획기적 프로젝트와 결합했습니다. Genie 3는 이미지나 텍스트 프롬프트만으로 새로운 3D 세계를 실시간으로 생성하는 기술이죠. SIMA 2를 이 완전히 새로 생성된 세계에 넣었을 때도, 에이전트는 스스로 방향을 잡고 사용자 명령을 이해하며 의미 있는 행동을 취했습니다. 한 번도 본 적 없는 환경인데도 말이죠.

스스로 학습하고 발전하는 사이클

SIMA 2의 가장 흥미로운 능력은 자기개선입니다. 초기엔 인간 플레이 영상으로 배우지만, 기본을 익힌 뒤엔 새 게임에서 자기주도 플레이만으로 학습합니다.

작동 방식은 이렇습니다. Gemini가 작업을 제시하고 SIMA 2가 시도하면, 그 결과를 바탕으로 Gemini가 보상을 추정합니다. 이 경험이 쌓이고, 다음 세대 SIMA 2는 이 데이터로 학습하며 실패했던 작업을 개선하죠. 연구팀은 Genie로 생성된 새 환경에서도 이 사이클을 작동시키는 데 성공했습니다.

로봇으로 가는 길

SIMA 2가 배운 능력들—탐색, 도구 사용, 협업 실행—은 물리적 세계에서 작동하는 AI 어시스턴트의 기본 구성 요소입니다. DeepMind는 이를 로봇공학으로 이어질 강력한 경로로 봅니다.

물론 한계도 있습니다. 긴 시간이 필요한 복잡한 작업, 짧은 메모리, 정밀한 동작 실행 같은 과제가 남아 있죠. 하지만 SIMA 2는 다양한 환경 데이터와 Gemini 추론을 활용해 범용 에이전트를 만들 수 있다는 걸 보여줬습니다. 게임이라는 가상 세계에서 시작된 실험이 AGI로 한 걸음 더 다가간 셈입니다.

참고자료: Watch Google DeepMind’s new AI agent learn to play video games – The Verge

Like?