실리콘밸리가 LLM에 수천억 달러를 쏟아붓는 동안, AI 분야의 전설적 인물 Yann LeCun은 정반대 길을 걷고 있습니다. 그는 최근 인터뷰에서 “모두가 LLM에 중독됐다(LLM-pilled)”며 업계의 집단사고를 비판했죠.

WIRED가 보도한 내용에 따르면, 2024년 11월 Meta를 떠난 LeCun은 샌프란시스코 스타트업 Logical Intelligence의 이사회에 합류했습니다. 이 회사는 LeCun이 20년 전 구상한 이론을 바탕으로 완전히 새로운 형태의 AI인 에너지 기반 추론 모델(EBM)을 개발했다고 밝혔어요. LLM과는 근본적으로 다른 방식으로 학습하고 추론하며 자가 수정까지 가능한 AI라는 주장입니다.

출처: A Yann LeCun–Linked Startup Charts a New Path to AGI – WIRED

LLM은 추측 게임일 뿐이다

Logical Intelligence의 CEO Eve Bodnia는 LLM의 작동 방식을 신랄하게 비판합니다. “LLM은 거대한 추측 게임이에요. 그래서 막대한 연산이 필요한 거죠. 인터넷의 온갖 쓰레기를 집어넣고 사람들이 어떻게 소통하는지 가르치려 하는데, 이건 지능을 모방해서 지능을 역설계하려는 시도입니다.”

그녀의 지적은 날카롭습니다. 언어는 지능의 결과물이지 지능 그 자체가 아니라는 거죠. 수학 강의를 들을 때 곱셈의 개념을 이해하는 대신 교수가 사용하는 단어의 순서만 외우는 격이라고 비유해요.

LLM이 다음 단어를 예측하는 방식으로 작동한다면, EBM은 완전히 다른 접근법을 택합니다. 스도쿠의 규칙처럼 특정 제약 조건을 학습한 뒤, 그 범위 안에서 작업을 완수하는 방식이죠. 시행착오가 줄어들고 오류 가능성도 낮아집니다.

에베레스트 등반으로 이해하는 EBM

Bodnia는 EBM의 작동 방식을 에베레스트 등반에 비유했습니다.

LLM 등반가는 전체 지도를 보지 못한 채 한 방향만 바라보고 나아갑니다. 구멍이 있으면 떨어져 죽는 거죠. 작업을 완료하기 전까지는 경로를 바꿀 수 없어요.

반면 EBM은 진짜 추론 모델입니다. 산을 오를 때 과거 경험 데이터와 실시간으로 배우는 정보를 결합해요. 여러 방향을 동시에 볼 수 있고, 한 길을 선택했다가 구멍을 만나면 다른 길을 시도합니다. 목표는 항상 머릿속에 있고요.

이런 자가 수정 능력이 핵심입니다. Logical Intelligence의 첫 모델 Kona 1.0은 단일 Nvidia H100 GPU만으로 스도쿠 퍼즐을 세계 최고 수준의 LLM보다 훨씬 빠르게 풉니다. LLM이 코딩 기능으로 “무차별 대입”하는 것을 막은 조건에서 말이죠.

언어가 아닌 추론의 세계

흥미로운 점은 EBM의 훈련 방식입니다. Kona는 2억 개 미만의 파라미터를 가진 작은 모델이에요. 거대 LLM처럼 모든 것을 다 하는 하나의 뇌를 만드는 게 아니라, 개별 비즈니스마다 특화된 작은 모델을 만드는 전략입니다.

더 신기한 건 희소 데이터(sparse data)로 훈련한다는 점이에요. 부분적인 데이터만 보여주면 모델이 전체 데이터를 추론해냅니다. 고양이 그리는 법을 보여주면 개 그리는 법까지 유추하는 식이죠.

Bodnia는 에너지 그리드 최적화, 신약 개발, 반도체 제조 등 오류가 용납되지 않는 분야에 EBM을 적용하려 합니다. “이런 작업들은 언어와 전혀 무관해요. 언어가 아닌 모든 것이죠.”

AGI는 여러 AI의 조합이다

Logical Intelligence는 LeCun이 최근 설립한 파리 기반 스타트업 AMI Labs와 긴밀히 협력할 계획입니다. AMI Labs는 물리적 차원을 인식하고 지속적 기억을 갖추며 행동의 결과를 예측하는 ‘월드 모델(world model)’을 개발 중이에요.

Bodnia가 제시하는 AGI로 가는 길은 이렇습니다. LLM은 자연어로 인간과 소통하는 인터페이스 역할을 하고, EBM은 추론 작업을 맡으며, 월드 모델은 로봇이 3D 공간에서 행동하도록 돕는 거죠. 세 가지 AI 타입을 레이어처럼 쌓는 전략입니다.

“AGI는 호환 가능한 AI 모델들의 생태계예요. 세상과 사람들에게 가장 생산적이고 안전한 방식으로 기여하는 시스템이죠. 자가 정렬, 자가 평가, 계획 능력이 필요하고 환각(hallucination)의 여지가 없어야 합니다.”

LLM 거품론의 진짜 의미

Bodnia는 마지막에 인상적인 말을 남깁니다. “사람들이 ‘AI 거품이다’라고 하는데, 그건 틀렸어요. 우린 LLM 거품 속에 있는 거죠.”

LeCun과 Logical Intelligence가 제시하는 건 단순한 LLM 비판이 아닙니다. AGI로 가는 길이 하나가 아니라는 걸 보여주는 실험이에요. 전 세계가 같은 방향으로 달려갈 때, 근본적으로 다른 출발점에서 시작하는 용기 말입니다.

물론 EBM이 LLM을 완전히 대체할 수 있을지는 미지수입니다. Logical Intelligence는 아직 초기 단계고, 실제 산업 적용 사례도 제한적이죠. 하지만 적어도 한 가지는 분명해 보입니다. 실리콘밸리의 집단사고에 균열이 생기기 시작했다는 것, 그리고 그 중심에 Yann LeCun이 있다는 거예요.