ChatGPT 같은 대화형 AI가 놀라운 성과를 보이고 있지만, 실제로는 세상을 제대로 이해하지 못하고 있으며, 진정한 AI 발전을 위해서는 ‘월드 모델’ 개발이 핵심 과제라는 사실을 보여주는 연구들이 주목받고 있습니다.
체스 하다가 말이 사라진다고요?
친구가 새로 나온 대형 언어모델(LLM)과 체스를 둬보더니 감탄했습니다. “이거 정말 잘하는데? 나보다 실력이 좋은 것 같아!” 하지만 한 연구자가 직접 도전해보니 몇 수 만에 허점이 드러났습니다.
처음엔 멀쩡했습니다. 체스에 관한 해설도 달고, 공격과 수비에 대해 그럴듯하게 설명했습니다. 그런데 10수 정도 지나자 이상한 일이 일어났습니다. 없는 기물을 움직이려고 하는 것입니다. “그 나이트는 이미 사라졌는데요?”
이 황당한 상황이 시사하는 바는 큽니다. LLM이 수백만 개의 체스 게임을 읽었음에도 불구하고, 기본적인 사실 하나를 놓치고 있다는 것입니다. “체스를 두려면 기물이 어디 있는지 알아야 한다”는 당연한 원리를 말입니다.
단어는 알지만 실체는 모릅니다
문제는 체스에만 국한되지 않습니다. 한 연구자가 LLM에게 이미지 편집 프로그램에서 “노멀 블렌딩 모드”에 대해 물어봤습니다.
LLM의 답변: “노멀 블렌딩 모드는 수학적 공식을 사용하지 않습니다. 단순히 상위 레이어의 색상을 표시할 뿐이며, 투명도의 영향을 받을 수 있지만 하위 레이어와의 상호작용이나 계산은 없습니다.”
이 답변을 듣고 연구자는 당황했습니다. 컴퓨터에서 색상은 숫자입니다. 투명도도 숫자입니다. 따라서 색상이 “수학적 공식 없이” 처리될 수는 없습니다. 더 중요한 것은, 만약 상위 레이어를 “통해서” 하위 레이어를 볼 수 있다면 (그래서 투명하다고 하는 것인데), 당연히 두 레이어의 색상이 모두 최종 결과에 영향을 미쳐야 한다는 점입니다.
LLM은 “투명도”, “블렌딩”, “레이어” 같은 단어들을 알고 있습니다. 하지만 이 단어들이 실제로 무엇을 의미하는지는 모릅니다.
맹인과 코끼리의 우화
이런 상황은 유명한 우화를 떠올리게 합니다. 여러 맹인이 코끼리를 만지며 각자 다른 부분만 느끼고 전체를 추측하는 이야기입니다. 다리를 만진 사람은 “나무 같다”고 하고, 코를 만진 사람은 “뱀 같다”고 합니다.
현재 LLM들이 딱 이런 상태입니다. Quanta Magazine이 표현한 대로, 이들은 “일관된 세계 모델” 대신 “경험적 규칙들의 집합(bags of heuristics)“을 학습합니다. 코끼리 전체 모습 대신 조각난 정보들을 모아둔 것입니다.
월드 모델이란 무엇인가요?
그렇다면 해답은 무엇일까요? AI 거장들이 주목하는 것이 바로 “월드 모델(World Model)“입니다.
1943년 스코틀랜드 심리학자 케네스 크래익(Kenneth Craik)이 제시한 개념입니다. 그는 “생물체가 머릿속에 외부 현실의 축소 모델을 가지고 있다면, 다양한 대안을 시도해보고 그 중 최선을 선택할 수 있다”고 했습니다.
쉽게 말해서, 우리가 길을 건널 때 실제로 뛰어들기 전에 머릿속에서 상황을 시뮬레이션해보는 것과 같습니다. 차의 속도, 거리, 내 걸음걸이를 고려해서 “안전하다” 또는 “위험하다”를 판단합니다.
현재 LLM에게는 이런 시뮬레이션 능력이 없습니다. 단지 과거에 본 텍스트 패턴을 바탕으로 “그럴듯한” 답변을 생성할 뿐입니다.
견고함의 차이
월드 모델과 패턴 매칭의 차이는 “견고함(robustness)“에서 극명하게 드러납니다.
MIT와 하버드 연구진이 흥미로운 실험을 했습니다. LLM에게 맨해튼 지역의 길 안내를 요청했더니 거의 완벽했습니다. 그런데 무작위로 1%의 도로만 막았더니 성능이 급격히 떨어졌습니다.
왜 그럴까요? LLM은 진짜 지도를 이해한 게 아니라 “A지점에서 B지점까지는 이런 경로”라는 수많은 암기 항목을 저장해둔 것뿐입니다. 예상치 못한 상황이 생기면 대처할 수 있는 일관된 모델이 없습니다.
반면 우리는 도로가 막혔을 때 다른 길을 쉽게 찾습니다. 머릿속에 지도의 전체적인 구조가 들어있기 때문입니다.
차세대 AI를 향한 경주
현재 주요 AI 기업들이 월드 모델 개발에 사활을 걸고 있습니다. 방향은 크게 두 갈래입니다.
구글 딥마인드와 OpenAI는 “멀티모달” 접근법을 택했습니다. 텍스트뿐만 아니라 동영상, 3D 시뮬레이션 등 다양한 형태의 데이터를 활용해서 신경망 안에서 월드 모델이 “저절로” 생겨날 것이라고 봅니다.
메타의 얀 르쿤(Yann LeCun)은 더 근본적인 접근을 주장합니다. 기존 생성형 AI 구조 자체를 완전히 바꿔야 한다는 것입니다.
우리는 어디로 가고 있을까요?
월드 모델은 단순히 기술적 개선이 아닙니다. AI의 패러다임 전환입니다.
현재 LLM들은 인상적인 결과를 보여주지만 근본적인 한계가 있습니다. 체스에서 기물 위치를 놓치고, 이미지 처리에서 기본 원리를 모르는 것처럼, 세상에 대한 진짜 이해 없이는 정말 중요한 문제를 해결하기 어렵습니다.
월드 모델이 개발되면 AI는 질적으로 달라질 것입니다. 단순히 과거 데이터를 재조합하는 수준을 넘어, 진짜 이해와 추론, 그리고 예측이 가능해집니다.
물론 아직 갈 길은 멉니다. 하지만 AI 분야 최고 두뇌들이 모두 같은 방향을 바라보고 있다는 것은 분명한 신호입니다. 맹인과 코끼리의 시대는 끝나가고 있습니다.
진짜 “생각하는” AI의 시대가 오고 있는지도 모릅니다.
참고자료:
- World Models,’ an Old Idea in AI, Mount a Comeback – Quanta Magazine
- LLMs aren’t world models – Yosef K
- OK, I can partly explain the LLM chess weirdness now – Dynomight
Comments