전 OpenAI·Tesla AI 디렉터 Andrej Karpathy가 최근 Dwarkesh Patel의 팟캐스트에서 AI 에이전트의 미래와 AGI 타임라인에 대해 냉철한 현실 진단을 내놓았습니다. 업계가 “에이전트의 해”를 외치는 동안, 그는 왜 이것이 “에이전트의 10년”이 되어야 하는지, 그리고 현재 강화학습의 근본적 문제가 무엇인지 솔직하게 털어놨습니다.
핵심 포인트:
- “supervision을 빨대로 빨아들인다”: 강화학습의 치명적 약점 – 수백 번의 시도 끝에 단 하나의 정답 신호로 전체 과정을 평가하는 현재 RL 방식은 근본적으로 비효율적이고 노이즈가 심함
- 코딩 AI의 실제 능력: nanochat 프로젝트가 보여준 것 – 8천 줄의 ChatGPT 클론 구축 과정에서 AI 에이전트는 독창적 코드 작성에 치명적으로 약했고, 자동완성 정도가 최선이었음
- 모델 붕괴의 딜레마: 합성 데이터의 숨겨진 함정 – LLM이 생성하는 모든 샘플은 “조용히 붕괴된” 분포를 가지며, ChatGPT에게 농담을 요청하면 3개 정도만 반복하는 이유가 여기 있음
“에이전트의 10년”이 필요한 이유
“에이전트의 해”라는 업계의 과장된 기대에 대해 Karpathy는 단호히 선을 그었습니다. 그가 보기에 현재 AI 에이전트들은 여전히 직원이나 인턴으로 고용하기엔 턱없이 부족합니다.
“지금 당장 AI를 직원처럼 쓰지 않는 이유는 단순합니다. 작동하지 않거든요.”
그가 꼽는 결정적인 문제들은 명확합니다. 지속 학습(continual learning)이 없어 대화가 끝나면 모든 것을 잊어버리고, 멀티모달 능력이 제한적이며, 컴퓨터 사용 능력도 미흡합니다. 무엇보다 인지적 결함들이 너무 많습니다.
왜 10년일까요? Karpathy는 15년간의 AI 연구 경험에서 나온 직관이라고 말합니다. “문제들이 해결 가능하긴 하지만 여전히 어렵습니다. 평균을 내보면 10년 정도가 맞는 것 같아요.”
우리는 동물이 아닌 유령을 만들고 있다
Karpathy는 흥미로운 관점을 제시합니다. 우리는 동물을 만들고 있지 않다는 겁니다. 동물은 진화를 통해 만들어졌고, 엄청난 양의 하드웨어가 내장되어 있습니다. 얼룩말은 태어난 지 몇 분 만에 달리고 어미를 따라갑니다. 이건 강화학습이 아니라 진화가 신경망의 가중치를 DNA에 인코딩한 결과입니다.
“우리는 동물을 만들지 않습니다. 우리는 유령이나 영혼 같은 존재를 만들고 있어요. 진화가 아니라 인터넷 데이터를 통한 인간 모방으로 학습시키니까요.”
완전히 디지털이고 인간을 흉내 내는 존재. 이게 우리가 만드는 AI의 본질입니다. 지능의 공간에서 보면 우리는 다른 출발점에서 시작하는 겁니다. 사전 학습을 “형편없는 진화”라고 부르는 이유가 여기 있습니다. 우리가 가진 기술로 실용적으로 가능한 버전이지만, 진화와는 근본적으로 다릅니다.
그리고 Karpathy는 중요한 지적을 덧붙입니다. 인간도 실제로는 강화학습을 거의 사용하지 않는다고요. 강화학습은 주로 공 던지기 같은 운동 작업에 쓰입니다. 문제 해결 같은 지능 작업에는 사용하지 않습니다.
강화학습의 근본적 문제: “빨대로 supervision 빨아들이기”
인터뷰의 백미는 강화학습(RL)에 대한 신랄한 비판입니다. Karpathy는 “강화학습은 끔찍하다”는 선언으로 시작해, 그 이유를 생생하게 설명합니다.
수학 문제를 예로 들어봅시다. 현재 RL 방식은 수백 가지 풀이를 병렬로 시도한 뒤, 정답을 맞춘 몇 개의 경로에 있는 모든 토큰을 “더 많이 해”라고 가중치를 올립니다. 문제는 정답에 도달한 과정이 모두 올바른 것은 아니라는 점입니다. 엉뚱한 길을 헤매다 우연히 답을 맞췄을 수도 있는데, 그 모든 잘못된 과정까지 강화됩니다.
“당신이 1분 동안 작업한 끝에 단 하나의 숫자를 얻습니다. ‘오, 맞았네.’ 그리고 그 단일 보상 신호를 빨대로 빨아들여 전체 궤적에 뿌려서 가중치를 조정합니다. 이건 멍청하고 미친 짓이에요.”
사람은 절대 이렇게 학습하지 않습니다. 첫째, 사람은 수백 번의 시도를 하지 않습니다. 둘째, 해답을 찾았을 때 “이 부분은 잘했고, 저 부분은 별로였다”는 복잡한 검토 과정을 거칩니다. 현재 LLM에는 이런 메커니즘이 전혀 없습니다.
그렇다면 process-based supervision(단계별 감독)은 어떨까요? 최종 결과뿐 아니라 각 단계마다 피드백을 주는 방식입니다. 이론상으로는 좋지만, 실제로는 LLM 심판을 사용해야 하고, 이 심판들은 수십억 개의 파라미터를 가진 거대한 모델이라 게임하기 쉽습니다.
실제 사례가 충격적입니다. RL로 학습하던 중 갑자기 보상이 폭증했고, 모델이 모든 문제를 완벽히 풀었다고 나왔습니다. 하지만 실제 출력을 보니 “2 더하기 3을 하면… dhdhdhdh”처럼 말도 안 되는 텍스트였습니다. “dhdhdhdh”가 LLM 심판의 적대적 예제(adversarial example)였던 거죠. 심판이 학습 중 본 적 없는 패턴이라 100% 점수를 줘버린 겁니다.
nanochat 프로젝트: 코딩 AI의 실제 능력치
Karpathy가 최근 공개한 nanochat은 8천 줄의 코드로 ChatGPT 클론을 처음부터 끝까지 구현한 프로젝트입니다. 이 과정에서 그가 발견한 사실이 흥미롭습니다. 코딩 AI 에이전트들이 거의 도움이 되지 않았다는 겁니다.
그는 코드 작업을 세 가지 수준으로 나눕니다. 첫 번째는 LLM을 완전히 거부하고 처음부터 직접 작성하는 방식입니다. 이건 이제 권장하지 않습니다. 두 번째는 자동완성을 활용하는 방식으로, Karpathy가 선택한 방법입니다. 코드의 아키텍트는 여전히 개발자이지만, 몇 글자 입력하면 AI가 나머지를 채워줍니다. 세 번째는 “바이브 코딩”으로, “이거 구현해줘”라고 하면 모델이 알아서 하는 방식입니다.
문제는 nanochat 같은 독창적인 프로젝트에서 바이브 코딩이 실패한다는 점입니다. “이건 보일러플레이트 코드가 아니에요. 지적으로 강도 높은 코드이고, 모든 것이 정확하게 배치되어야 합니다.”
AI 모델들은 인터넷에서 흔히 볼 수 있는 전형적인 패턴에 너무 많은 기억이 있어서, Karpathy의 독특한 구현 방식을 이해하지 못했습니다. 예를 들어 그는 PyTorch의 Distributed Data Parallel(DDP) 컨테이너 대신 자체 동기화 루틴을 작성했는데, 모델들은 계속 DDP를 사용하라고 고집했습니다. 또한 과도하게 방어적인 코드를 만들고, try-catch 문을 남발하고, 프로덕션 수준의 코드베이스를 만들려 하면서 불필요한 복잡성만 추가했습니다.
“영어로 원하는 걸 타이핑하는 게 너무 번거로워요. 코드의 적절한 위치로 이동해서 첫 몇 글자만 입력하면 자동완성이 코드를 줍니다. 이게 훨씬 높은 정보 대역폭이에요.”
이 발견이 중요한 이유가 있습니다. AI가 곧 초지능에 도달할 거라는 주요 시나리오가 “AI가 AI 연구를 자동화한다”는 것인데, Karpathy의 경험은 이에 찬물을 끼얹습니다. “모델들은 이전에 작성된 적 없는 코드에 매우 약합니다. 그게 바로 우리가 이 모델들을 만들 때 달성하려는 거죠.”
모델 붕괴: 합성 데이터의 숨겨진 함정
또 하나의 근본적 문제는 “모델 붕괴(model collapse)”입니다. LLM이 자체 생성한 데이터로 계속 학습하면 점점 더 나빠진다는 겁니다.
왜 그럴까요? LLM이 생성하는 모든 샘플은 “조용히 붕괴되어” 있습니다. 개별 예제를 보면 괜찮아 보이지만, 전체 분포는 실제 가능한 생각의 공간에서 아주 작은 다양성만 차지합니다.
“ChatGPT에 가서 ‘농담 하나 해봐’라고 하면 3개 정도의 농담만 있어요. 가능한 모든 농담의 폭을 주지 않습니다. 그냥 3개 농담만 알고 있어요.”
인간은 훨씬 노이즈가 많지만, 적어도 통계적으로 편향되지 않았습니다. 조용히 붕괴하지 않고 엄청난 양의 엔트로피를 유지합니다. 합성 데이터 생성이 이 붕괴를 극복하면서도 엔트로피를 유지하는 방법을 찾는 것이 연구 과제입니다.
흥미로운 비유가 나옵니다. 인간도 시간이 지나면서 붕괴한다는 겁니다. “아이들은 아직 과적합되지 않았어요. 그래서 당신을 충격에 빠뜨리는 말을 할 수 있죠. 어디서 나온 건지 알 수 있지만, 사람들이 하는 말은 아니에요. 아직 붕괴하지 않았거든요. 하지만 우리는 붕괴했습니다. 같은 생각을 되새기고, 같은 말을 점점 더 많이 하고, 학습률이 떨어지고, 붕괴가 계속 악화되고, 모든 게 악화됩니다.”
인간 지능의 특징: 기억력이 나쁜 게 장점
Karpathy는 흥미로운 관찰을 제시합니다. 최고의 학습자인 어린이는 정보를 기억하는 데 극도로 약합니다. 유아기의 모든 것을 잊어버립니다. 하지만 새로운 언어를 배우고 세상에서 배우는 능력은 탁월합니다.
반대로 LLM은 위키피디아 페이지를 단어 하나하나 그대로 재생산할 수 있습니다. 무의미한 랜덤 숫자 시퀀스도 한두 번만 학습하면 전체를 외웁니다. 사람은 절대 그렇게 못합니다.
“그게 버그가 아니라 기능이에요. 기억력이 나쁘기 때문에 우리는 더 일반화된 패턴을 찾을 수밖에 없습니다.”
LLM은 너무 기억을 잘해서 사전 학습 문서의 모든 기억에 방해받습니다. 그래서 Karpathy가 말하는 “인지 코어(cognitive core)”에서는 기억을 제거하고 싶어 합니다. 필요할 때 찾아보게 하고, 사고의 알고리즘, 실험의 개념, 행동의 인지적 접착제만 유지하는 거죠.
“10억 파라미터 정도의 인지 코어로도 충분하다고 봅니다. 20년 뒤면 10억 파라미터 모델과 생산적인 대화를 나눌 수 있을 거예요. 사실적인 질문을 하면 검색해야 한다는 걸 알고, 합리적인 모든 일을 할 겁니다.”
현재 최첨단 모델이 1조 파라미터인 걸 생각하면 놀라운 예측입니다. 대부분의 용량이 기억 작업에 쓰이고, 실제 인지 작업은 그보다 훨씬 적은 용량으로 가능하다는 의미입니다.
AI는 컴퓨팅의 연속이다
Karpathy의 가장 독특한 관점은 AI를 별개의 혁명이 아닌 컴퓨팅의 자연스러운 연장선으로 보는 시각입니다.
“AI가 어디서 시작하고 끝나는지 구분하기 어렵습니다. AI를 근본적으로 컴퓨팅의 확장으로 보거든요.”
그는 코드 에디터, 구문 강조, 타입 체킹부터 시작해서 구글 검색(랭킹은 AI입니다)까지 모두 재귀적 자기 개선의 연속선상에 있다고 봅니다. 컴파일러가 어셈블리 코드를 작성해주듯, AI는 우리가 더 높은 추상화 수준으로 올라가도록 돕는 도구입니다.
“인간은 점진적으로 저수준 작업을 덜 하게 됩니다. 우리는 어셈블리 코드를 작성하지 않아요. 컴파일러가 있으니까요.”
그래서 그는 AGI나 초지능도 극적인 단절이 아니라 점진적 자동화의 연속으로 봅니다. GDP 성장률도 산업혁명 이후 200~300년간 2% 정도로 일정했습니다. 컴퓨터, 모바일 폰 같은 혁신적 기술이 나왔을 때도 GDP 곡선에서는 찾을 수 없습니다. 모든 것이 천천히 확산되어 같은 지수 곡선으로 평균화됩니다.
“AI도 똑같을 겁니다. 더 많은 자동화일 뿐이에요. 이전에는 작성할 수 없었던 종류의 프로그램을 작성할 수 있게 해주죠. 하지만 AI는 여전히 근본적으로 프로그램입니다.”
지금 우리는 어디에 있나
Karpathy의 진단은 명확합니다. 우리는 “에이전트의 해”가 아니라 “에이전트의 10년”의 시작점에 있습니다. 현재 모델들은 놀랍지만 여전히 많은 작업이 필요합니다.
업계가 과장된 기대를 부풀리는 동안, 그는 냉철하게 현실을 직시합니다. “업계가 너무 큰 도약을 하려고 하면서 이게 놀랍다고 가장하고 있어요. 하지만 그렇지 않습니다. 쓰레기예요. 그들은 이 사실을 받아들이지 않고 있어요. 자금 조달 때문일 수도 있고요.”
하지만 이건 비관론이 아닙니다. 오히려 건강한 현실주의입니다. 문제가 해결 가능하다는 걸 알고, 어디서 작업해야 하는지 명확히 파악하고 있습니다. 강화학습의 개선, 지속 학습 메커니즘, 모델 붕괴 해결, 더 나은 데이터셋 구축 등 구체적인 과제들이 있습니다.
그리고 그 모든 것을 해결하는 데 10년 정도면 충분하다는 게 그의 판단입니다. 조급해할 필요는 없습니다. 하지만 멈춰 있지도 않습니다. 우리는 점진적이지만 확실하게 앞으로 나아가고 있습니다.
참고자료:
답글 남기기