AI에게 코드를 짜달라고 했더니 버그가 생겼습니다. “버그 좀 고쳐줘”라고 하니까 “아, 맞네요! 바로 고칠게요”라며 두 번째 버그를 만듭니다. 다시 지적하면 “정말 죄송합니다!”라며 첫 번째 버그를 되살려놓죠. 이 두 버그 사이를 끝없이 왔다갔다합니다. Eval에서는 뛰어난 성능을 보이는 모델이 왜 이런 기초적인 실수를 반복할까요?

OpenAI 공동창업자이자 현 Safe Superintelligence Inc.(SSI) CEO인 Ilya Sutskever가 Dwarkesh Patel과의 인터뷰에서 AI 산업의 근본적 전환을 예고했습니다. 그는 2020년부터 2025년까지의 ‘스케일링 시대’가 끝나고, 이제 다시 ‘연구의 시대’로 돌아갔다고 선언합니다. 그리고 다음 돌파구는 단 한 가지, 바로 일반화(generalization) 문제를 푸는 것이라고 강조했습니다.

출처: Ilya Sutskever – We’re moving from the age of scaling to the age of research – Dwarkesh Podcast

스케일링은 왜 한계에 부딪혔나

Ilya는 pre-training의 가장 큰 장점이 “생각할 필요가 없다는 것”이었다고 말합니다. 데이터 선택을 고민할 필요 없이 모든 데이터를 넣으면 됐으니까요. 하지만 RL 훈련으로 넘어오면서 상황이 달라졌습니다. 어떤 RL 환경을 만들지, 무엇을 훈련할지 선택해야 하는데, 대부분의 회사들이 eval 성능을 염두에 두고 훈련 환경을 설계합니다.

결과는? 경쟁 프로그래밍 문제를 10,000시간 연습한 학생처럼, 모델은 특정 문제에는 초인적이지만 조금만 벗어나면 허둥댑니다. 인간은 100시간만 연습하고도 더 범용적으로 문제를 풀 수 있는데 말이죠. Ilya는 이것이 바로 “일반화가 불충분한” 증거라고 지적합니다.

인간은 왜 더 적은 데이터로 더 잘 배우나

더 놀라운 건 인간의 강건함입니다. 10대가 운전을 배우는 데는 10시간이면 충분합니다. 외부 교사 없이도 스스로 실수를 인식하고 교정하죠. Ilya는 이것이 인간에게 내재된 “가치 함수(value function)”가 있기 때문이라고 설명합니다.

그는 흥미로운 신경과학 사례를 소개합니다. 뇌손상으로 감정 처리 능력을 잃은 환자가 있었습니다. 퍼즐도 잘 풀고 말도 유창한데, 어떤 양말을 신을지 결정하는 데 몇 시간이 걸렸고 재정 결정도 엉망이었죠. 감정이 단순한 장식이 아니라 효과적인 의사결정을 위한 핵심 메커니즘이라는 증거입니다.

현재 AI에는 이런 내재적 가치 함수가 부족합니다. 물론 RL에서 가치 함수를 사용하긴 하지만, 인간처럼 강건하고 범용적이지 않습니다. Ilya는 이 문제에 대한 구체적 아이디어가 있지만 “자유롭게 논의하기 어려운” 주제라며 말을 아꼈습니다.

AGI의 정의를 바꿔야 한다

Ilya는 “AGI”라는 용어 자체가 pre-training 시대의 산물이라고 지적합니다. Pre-training은 모든 것을 균일하게 향상시켜서 “범용(general)” AI라는 환상을 만들었지만, 실제 인간은 그렇지 않습니다. 인간은 기초적인 능력을 가진 채로 태어나 평생 동안 지속적으로 학습합니다.

따라서 그가 제안하는 초지능(superintelligence)의 정의는 이렇습니다: “모든 일을 할 수 있는 AI”가 아니라 “모든 일을 배울 수 있는 AI”. 마치 매우 똑똑한 15세처럼, 구체적 지식은 적지만 어떤 분야든 빠르게 배울 수 있는 시스템입니다. 이 AI는 배포된 후 각자의 역할에서 학습하며 능력을 키워갑니다.

이는 단순한 개념적 변화가 아닙니다. 배포 방식, 안전성 검증, 심지어 경제적 영향까지 모든 것이 달라집니다. Ilya는 이런 시스템이 5-20년 안에 등장할 것으로 예측합니다.

연구의 시대로 돌아가다

“지금은 아이디어보다 회사가 더 많습니다.” Ilya의 냉정한 진단입니다. 스케일링 시대에는 모두가 같은 레시피를 따랐지만, 이제는 다시 근본적인 질문으로 돌아가야 합니다. 어떻게 하면 AI가 더 적은 데이터로, 더 강건하게, 더 범용적으로 학습할 수 있을까?

흥미롭게도 Ilya는 역사적 돌파구들—AlexNet, Transformer, 심지어 o1의 추론 능력도—이 최첨단 수준의 컴퓨팅 없이 증명됐다고 상기시킵니다. 물론 최고의 시스템을 만들려면 엄청난 컴퓨팅이 필요하지만, 새로운 아이디어를 검증하는 데는 그만큼 필요하지 않다는 것이죠.

그의 회사 SSI는 바로 이 일반화 문제에 집중하고 있습니다. 30억 달러 투자를 받았지만 대부분의 프론티어 기업들처럼 추론 인프라나 제품 기능에 자원을 분산시키지 않고 순수하게 연구에 집중한다는 전략입니다.

우리가 준비해야 할 것

Ilya는 초지능 시대를 대비하는 핵심은 AI를 “점진적으로 미리” 배포하는 것이라고 강조합니다. 사람들이 미래의 강력한 AI를 상상하기 어려운 이유는 아직 경험해보지 못했기 때문입니다. 따라서 더 강력한 시스템이 등장하기 전에 중간 단계의 AI를 통해 사회가 적응할 시간을 가져야 합니다.

정렬(alignment) 전략으로는 “감각 있는 생명체(sentient life)를 돌보는” AI를 제안합니다. 인간만이 아니라 모든 감각 있는 존재를 포함하는 이유는, AI 자체도 감각이 있을 것이기 때문입니다. 인간의 거울 뉴런이 타인에 대한 공감을 가능하게 하듯, AI가 자신을 모델링하는 회로로 다른 감각 있는 존재를 이해한다면 더 자연스러운 정렬이 가능하다는 논리입니다.

그는 AI가 더욱 강력해질수록 경쟁사들조차 안전성 문제에서 협력하기 시작할 것이라 예측합니다. 실제로 OpenAI와 Anthropic가 이미 작은 협력을 시작했죠. “AI가 실제로 강력하다고 느껴지기 시작하면” 모든 회사가 훨씬 더 신중해질 것이라는 게 그의 생각입니다.

아름다움을 따르는 연구

인터뷰 말미, Dwarkesh가 “연구 취향(research taste)”에 대해 묻자 Ilya는 의외의 답을 내놓습니다. 그를 이끄는 것은 “미학”이라고. 뇌에서 올바른 영감을 얻되, 아름다움과 단순함, 우아함을 동시에 추구한다는 것입니다.

“추함은 용납할 수 없습니다. 아름다움, 단순함, 우아함, 뇌로부터의 올바른 영감—이 모든 것이 동시에 존재해야 합니다.” 실험 결과가 부정적일 때 계속 나아갈 수 있는 힘은 바로 이런 “하향식(top-down)” 믿음에서 나온다고 합니다. 어떤 것이 작동해야만 한다는 깊은 확신이 버그와 실패를 넘어서게 만든다는 것이죠.

스케일링 시대가 끝나고 다시 연구의 시대가 왔다는 것은, 결국 이런 미학적 직관과 깊은 통찰이 다시 중요해졌다는 의미입니다. 다음 돌파구는 단순히 더 큰 컴퓨터에서 오지 않을 겁니다. 인간의 학습을 진정으로 이해하고, 그 본질을 포착하는 아름다운 아이디어에서 올 것입니다.

Like?