AI 업계는 2025년을 “AI 에이전트의 해”라고 선언했습니다. 하지만 정작 2025년은 에이전트를 ‘이야기하는’ 해가 됐죠. 그런데 만약 AI 에이전트가 수학적으로 실현 불가능하다면 어떨까요?

WIRED의 스티븐 레비가 AI 에이전트의 수학적 한계를 주장하는 논문과 이에 반박하는 업계의 시각을 분석한 글을 발표했습니다. 핵심은 LLM이 본질적으로 가진 환각(hallucination) 문제를 극복할 수 있느냐는 것입니다.

출처: The Math on AI Agents Doesn’t Add Up – WIRED

수학적으로 증명된 한계?

전 SAP CTO이자 AI 선구자 존 매카시의 제자인 비샬 시카(Vishal Sikka)와 그의 10대 아들이 발표한 논문 “Hallucination Stations”은 충격적인 주장을 담고 있습니다. 트랜스포머 기반 LLM은 일정 복잡도를 넘어서는 계산이나 에이전트 작업을 수행할 수 없다는 것을 수학적으로 증명했다는 겁니다.

시카는 단도직입적으로 말합니다. “이들은 신뢰할 수 있는 방법이 없어요.” 원자력 발전소를 AI 에이전트가 운영하게 할 수 있냐는 질문에 그의 답은 명확했습니다. “정확히 그렇습니다.” 서류 정리 같은 단순 작업은 가능하겠지만, 실수를 감수해야 한다는 거죠.

업계의 반격: “우린 이미 해내고 있다”

하지만 AI 업계는 동의하지 않습니다. 구글 딥마인드의 데미스 하사비스는 다보스에서 환각 최소화의 돌파구를 보고했고, 스타트업 하모닉(Harmonic)은 더 직접적인 반박을 내놓았습니다.

로빈후드 CEO 블라드 테네프와 스탠퍼드 출신 수학자 튜더 아킴이 공동 창업한 하모닉은 수학적 검증을 통해 AI 출력의 신뢰성을 보장하는 방식을 개발했습니다. 그들의 시스템은 LLM의 출력을 Lean 프로그래밍 언어로 인코딩해 수학적으로 검증합니다. 아킴은 말합니다. “AI가 계속 쓰레기만 생성하고 인간이 확인할 수 없는 세상에 갇힌다면, 그건 미친 세상이죠.”

실제로 코딩 에이전트는 이미 지난해 큰 성공을 거뒀습니다. 아킴은 대부분의 모델이 “여행 일정을 예약할 만한 순수한 지능 수준”은 갖췄다고 평가합니다.

환각과의 공존

흥미로운 점은 양측 모두 환각이 사라지지 않을 거라는 데 동의한다는 겁니다. OpenAI가 2024년 9월 발표한 논문에서 최신 모델인 ChatGPT조차 저자의 논문 제목과 출판 연도를 모두 틀리게 답했다고 밝혔을 정도죠. OpenAI는 “정확도가 100%에 도달하는 일은 절대 없을 것”이라고 솔직히 인정했습니다.

하지만 시카도 인정합니다. “순수 LLM에는 본질적 한계가 있지만, 동시에 LLM 주변에 그 한계를 극복하는 구성 요소를 구축할 수 있다는 것도 사실입니다.” 가드레일을 통해 LLM이 생성하는 “상상력 넘치는 헛소리”를 걸러낼 수 있다는 거죠.

더 나아가 하모닉의 아킴은 환각을 결함이 아니라 필수 기능으로 봅니다. “환각은 LLM에 본질적이며 인간 지능을 넘어서기 위해 필요합니다. 시스템이 학습하는 방식은 무언가를 환각하는 것이거든요. 종종 틀리지만, 때로는 인간이 한 번도 생각하지 못한 것을 만들어냅니다.”

불가능하면서도 필연적인 미래

결론적으로 에이전트 AI는 불가능하면서도 동시에 필연적입니다. 특정 해가 “에이전트의 해”로 기억되진 않겠지만, 지금부터 매년은 “더 많은 에이전트의 해”가 될 겁니다. 가드레일과 환각 사이의 격차가 좁혀지면서요.

에이전트가 수행하는 작업에는 항상 어느 정도 검증이 필요할 겁니다. 사람들이 대충 하다 크고 작은 재난을 겪기도 하겠죠. 하지만 결국 에이전트는 인간만큼, 혹은 그 이상의 신뢰성을 갖추게 될 겁니다. 더 빠르고 저렴하게요.

컴퓨터 선구자 앨런 케이가 지적했듯, 수학적 논쟁보다 중요한 건 “무슨 일이 일어나고 있는지 파악하는 것”입니다. 지금 일어나고 있는 일은 명확합니다. 우리는 인간 인지 활동의 대규모 자동화 직전에 서 있습니다. 이것이 우리 일과 삶의 질을 개선할지는 아마도 수학적으로 검증할 수 없을 겁니다.

참고자료:

• Hallucination Stations: On Some Basic Limitations of Transformer-Based Language Models – arXiv (Vishal Sikka, Varin Sikka)
• Why language models hallucinate – OpenAI
• Harmonic announces breakthrough in AI coding – Harmonic
• Why Vlad Tenev and Tudor Achim of Harmonic Think AI Is About to Change Math—and Why It Matters – Sequoia Capital