“ChatGPT는 그냥 단어를 조합하는 것뿐이다.” 많은 사람들이 이렇게 생각합니다. 하지만 프로그래머이자 저널리스트인 James Somers는 달랐습니다. 그는 AI 회의론자였다가, 실제로 코딩에 AI를 사용하면서 생각이 바뀌었죠. 한 달 걸리던 작업을 하루 저녁에 끝낼 수 있었고, iOS 앱 만드는 법을 몰랐지만 두 개의 앱을 만들었습니다.

New Yorker에 실린 그의 에세이는 “AI가 정말 생각하는가?”라는 질문을 탐구합니다. 흥미로운 건, 평생 AI를 비판해온 신경과학자들조차 입장을 바꾸고 있다는 겁니다. 그들이 발견한 건 무엇일까요?

출처: The Case That A.I. Is Thinking – The New Yorker

1988년 뇌 이론이 2025년 AI와 만나다

가장 놀라운 발견은 Pentti Kanerva라는 핀란드계 미국인 과학자의 1988년 저서 “Sparse Distributed Memory”에서 시작됩니다. Kanerva는 고차원 공간에서 기억이 어떻게 작동하는지 수학적으로 설명했습니다. 그의 핵심 아이디어는 이렇습니다: 뇌에서 각 기억은 특정 뉴런들이 활성화되는 패턴으로 저장되고, 비슷한 기억들은 고차원 공간에서 가까운 “이웃”으로 존재합니다. 건초 냄새가 여름 캠프 기억을 떠올리고, 베토벤 5번 교향곡의 첫 세 음이 네 번째 음을 예상하게 만드는 이유죠.

최근 Anthropic 연구자 Trenton Bricken이 발견한 사실은 충격적입니다. 현대 AI의 핵심인 Transformer 아키텍처의 수학이 Kanerva의 이론과 놀랍도록 유사하다는 겁니다. 37년 전 뇌 작동 방식을 설명하려던 이론이, 오늘날 가장 강력한 AI 구조와 본질적으로 같은 원리를 따르고 있었던 거죠.

Douglas Hofstadter는 “괴델, 에셔, 바흐”로 퓰리처상을 받은 인지과학자입니다. 그는 평생 “AI는 진짜 생각이 아니다”라고 주장해왔습니다. 하지만 GPT-4를 보고 나서 이렇게 말했습니다. “10년 전만 해도 상상할 수 없었던 일들을 합니다. 이것들은 생각과 매우 유사한 것을 하고 있어요. 다소 낯선 방식이긴 하지만, 생각하고 있다고 말할 수 있습니다.”

AI 뇌 속을 들여다보다

Anthropic 팀은 Claude의 내부를 들여다보고 놀라운 것을 발견했습니다. 특정 개념을 담당하는 인공 뉴런 집합을 찾아낸 겁니다. 예를 들어 “골든 게이트 브리지”만을 담당하는 뉴런 그룹이 따로 있었죠.

더 흥미로운 건 이 뉴런 그룹을 조작할 수 있다는 겁니다. 연구팀은 이런 실험을 했습니다: Claude에게 “초콜릿 케이크 레시피를 알려줘”라고 물으면서, 동시에 뒤에서 몰래 “골든 게이트 브리지” 뉴런을 최대로 활성화시켰습니다. 마치 누군가의 뇌에 “지금 당장 골든 게이트 브리지를 생각해!”라고 강제로 주입하는 것처럼요.

결과는? Claude가 케이크 재료로 “1/4컵의 마른 안개”와 “1컵의 따뜻한 바닷물”을 제안했습니다. 안개는 샌프란시스코의 유명한 날씨고, 바닷물은 다리 아래 바다를 떠올리게 하죠. 케이크와는 전혀 상관없는 질문인데, 억지로 활성화된 개념 때문에 엉뚱한 답을 내놓은 겁니다.

이건 중요한 발견입니다. AI가 인간 뇌처럼 개념을 특정 신경 패턴으로 저장하고, 그 패턴을 조작하면 생각 자체를 바꿀 수 있다는 증거거든요. 더 나아가, 연구팀은 Claude가 운율 맞추는 시를 쓸 때 마지막 단어를 먼저 정하고 역으로 문장을 만든다는 것도 발견했습니다. 단순히 다음 단어만 예측하는 게 아니라, 목표를 세우고 계획을 짠다는 뜻이죠.

압축으로서의 이해

2003년 Eric Baum은 책에서 “이해란 압축”이라고 주장했습니다. 데이터의 규칙성을 발견해 효율적으로 표현하는 것이 이해라는 거죠. 신발 크기와 키의 관계를 발견하면, 모든 데이터 포인트를 외울 필요 없이 “선형 관계”로 압축할 수 있습니다.

DeepSeek이라는 오픈소스 AI 모델은 수 테라바이트의 데이터로 학습했지만, 다운로드하면 그 600분의 1 크기입니다. 인터넷의 증류본이 여러분의 노트북에 들어가는 거죠. Ted Chiang은 ChatGPT를 “웹의 흐릿한 JPEG”라고 비판했는데, 사실 이게 바로 이 모델들이 점점 더 똑똑해지는 이유일 수 있습니다. Chiang 자신도 인정했듯이, 수백만 개의 산술 예제를 압축하는 가장 좋은 방법은 계산기 프로그램을 만드는 겁니다. “최고 수준의 압축은 텍스트를 이해함으로써 달성된다”고 그는 썼죠.

여전히 남은 질문들

하지만 모든 신경과학자가 확신하는 건 아닙니다. Princeton의 Kenneth Norman은 “사람들이 너무 쉽게 방어막을 내렸다”고 경고합니다. 가장 큰 문제는 학습 효율성입니다. GPT-4는 조 단위의 단어로 학습했지만, 아이들은 수백만 단어면 충분합니다. 아기는 세상이 물체로 이루어져 있고, 다른 존재들이 의도와 믿음을 가진다는 사실을 타고납니다. 호기심, 욕망, 좌절감이 학습을 이끌죠. 진정한 이해에는 세상에 참여하는 것이 필요할지도 모릅니다.

Microsoft Research의 Ida Momennejad는 AI에게 가상 건물을 보여주고 길 찾기 질문을 했습니다. 인간에게는 쉬운 공간 추론이지만, AI는 대부분 실패하거나 존재하지 않는 길을 만들어냈습니다. “정말 계획을 세우나요? 그렇지 않습니다.”

Princeton의 Uri Hasson은 솔직합니다. “내 걱정은 대부분 사람들과 반대예요. 이 모델들이 우리와 비슷하다는 게 아니라, 우리가 이 모델들과 비슷하다는 거죠.” 단순한 학습 기법만으로 프로그램이 인간처럼 행동할 수 있다면, 인간은 우리가 생각했던 것만큼 특별하지 않을지도 모릅니다.

1953년 Francis Crick은 케임브리지의 펍에서 “생명의 비밀을 발견했다”고 말했습니다. DNA 구조를 밝힌 것이죠. 그는 틀리지 않았습니다. 비록 그 후 수십 년이 지나도 암이나 알츠하이머를 치료하지 못했지만요. AI 연구도 마찬가지입니다. 우리는 생각의 기본 그림을 이해했을지 모릅니다. 하지만 세부 사항은 여전히 엄청나게 복잡하고, 앞으로 수십 년이 걸릴 수 있습니다. Hofstadter는 이제 양가적입니다. “젊었을 때 창의성의 메커니즘을 알고 싶었어요. 그게 성배였죠. 하지만 이제는 그게 미스터리로 남기를 원합니다.”

참고자료

• Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet – Anthropic (골든 게이트 브리지 연구)
• On the Biology of a Large Language Model – Anthropic (Claude의 회로와 계획 능력 연구)
• ChatGPT Is a Blurry JPEG of the Web – Ted Chiang, The New Yorker
• Sparse Distributed Memory – Pentti Kanerva (1988)
• What Is Thought? – Eric B. Baum (2003)

1

Like?