ChatGPT가 “새”라는 개념을 이해할 때와 인간이 “새”를 떠올릴 때, 과연 같은 방식으로 생각하고 있을까요? 최근 스탠포드 대학과 뉴욕 대학 연구진이 발표한 획기적인 연구는 이 질문에 대한 과학적이고 명확한 답을 제시합니다. 그 결과는 우리가 생각했던 것보다 훨씬 더 근본적인 차이를 보여주었습니다.
같은 답, 다른 방식: 개념 형성의 숨겨진 차이
연구진은 정보 이론의 핵심 개념인 ‘압축과 의미 보존의 트레이드오프’를 통해 이 문제에 접근했습니다. 간단히 말해, 우리 뇌든 AI든 방대한 정보를 효율적으로 처리하기 위해서는 정보를 압축해야 하는데, 이 과정에서 얼마나 많은 의미를 잃지 않고 보존할 수 있느냐가 핵심입니다.
연구팀은 30여 개의 다양한 대형 언어모델(LLM)을 대상으로, 1970년대부터 축적된 인간의 개념 형성 데이터와 비교 분석을 수행했습니다. 놀랍게도 표면적으로는 LLM들이 인간과 매우 유사한 범주화를 보여주었습니다. 예를 들어, ‘로빈’과 ‘파랑새’를 모두 ‘새’ 카테고리로 분류하는 능력은 인간과 거의 동일했습니다.
세 가지 결정적 차이점
하지만 더 깊이 들어가자 세 가지 중요한 차이점이 드러났습니다.
1. 큰 그림은 보지만, 디테일은 놓친다
LLM들은 광범위한 개념적 범주를 형성하는 데에는 뛰어났지만, 범주 내부의 세밀한 구조를 파악하는 데에는 한계를 보였습니다. 인간이 ‘로빈은 전형적인 새이고 박쥐는 비전형적인 새’라고 직관적으로 구분하는 것과 달리, LLM들은 이런 전형성(typicality) 판단에서 상당히 약한 상관관계만을 보였습니다.
이는 마치 AI가 숲은 잘 보지만 나무 하나하나의 특성은 제대로 구분하지 못하는 것과 같습니다. 실제로 연구에서 LLM과 인간의 전형성 판단 간 스피어만 상관계수는 대부분 0.3 이하로 매우 낮게 나타났습니다.
2. 통계적 효율성 vs 적응적 풍부함
더욱 흥미로운 발견은 정보 처리 전략의 근본적 차이였습니다. 연구진이 개발한 정보 이론적 프레임워크로 측정한 결과, LLM들은 일관되게 더 “효율적인” 압축을 보여주었습니다. 이들은 클러스터 엔트로피가 낮고, 압축-의미 보존 트레이드오프 함수(ℒ)에서도 더 최적화된 값을 나타냈습니다.
반면 인간의 개념 구조는 통계적으로는 “비효율적”으로 보였습니다. 하지만 이는 인간이 단순한 통계적 압축보다는 맥락적 풍부함, 인과관계 추론, 유연한 일반화 능력을 우선시하기 때문입니다.
3. 최적화 목표의 차이
연구 결과가 시사하는 가장 중요한 통찰은 LLM과 인간이 서로 다른 목표를 위해 최적화되어 있다는 것입니다. LLM은 방대한 텍스트 데이터에서 통계적 패턴을 최대한 효율적으로 압축하는 것에 특화되어 있습니다. 마치 완벽한 압축 알고리즘처럼 중복을 제거하고 정규성을 극대화합니다.
인간의 인지 시스템은 전혀 다른 요구사항에 맞춰 진화했습니다. 복잡하고 변화하는 환경에서 생존하기 위해서는 통계적 효율성보다는 적응적 유연성이 더 중요했기 때문입니다. 따라서 인간의 개념은 겉보기에는 “비효율적”이지만, 실제로는 창의적 추론, 전이 학습, 맥락 이해 등에서 훨씬 뛰어난 성능을 발휘합니다.
실용적 함의: AI 발전의 새로운 방향
이 연구가 AI 개발과 활용에 주는 시사점은 매우 큽니다.
먼저 AI의 한계를 정확히 이해할 수 있게 됩니다. 현재의 LLM들이 인간과 유사한 출력을 보여준다고 해서 같은 방식으로 이해하고 있는 것은 아닙니다. 이들은 패턴 매칭의 달인이지만, 진정한 개념적 이해와는 거리가 있습니다.
AI 활용 전략도 달라져야 합니다. LLM의 강점인 광범위한 패턴 인식과 효율적 정보 처리는 최대한 활용하되, 세밀한 맥락 이해나 창의적 추론이 필요한 영역에서는 인간의 개입이 여전히 중요합니다.
무엇보다 미래 AI 개발 방향에 대한 중요한 가이드라인을 제시합니다. 단순히 모델 크기를 키우거나 데이터를 늘리는 것만으로는 인간 수준의 이해에 도달하기 어렵습니다. 대신 인간의 개념 형성 방식을 모방한 새로운 아키텍처와 학습 방법론이 필요합니다.
진정한 AI 지능을 향한 여정
흥미롭게도 이 연구에서 BERT와 같은 작은 인코더 모델들이 때로는 훨씬 큰 모델들보다 인간과 더 유사한 범주화를 보여주었습니다. 이는 모델의 크기보다는 아키텍처 설계와 사전 훈련 목표가 더 중요할 수 있음을 시사합니다.
결국 이 연구는 우리에게 중요한 질문을 던집니다. 우리가 원하는 AI는 통계적으로 완벽한 압축 기계일까요, 아니면 인간처럼 맥락을 이해하고 창의적으로 사고하는 진정한 지능체일까요?
“토큰에서 사고로”라는 논문 제목이 시사하듯, 진정한 AI 지능은 단순한 패턴 매칭을 넘어서는 것입니다. 통계적 효율성만큼이나 적응적 풍부함을 중시하고, 압축된 정보 속에서도 맥락과 의미를 살아있게 유지하는 것입니다.
이런 “비효율성”이야말로 인간 지능의 진정한 힘이며, 앞으로 AI가 배워야 할 가장 중요한 특성일지도 모릅니다. AI의 미래는 더 효율적인 압축 알고리즘이 아니라, 인간처럼 풍부하고 맥락적인 사고를 할 수 있는 시스템을 만드는 데 달려 있을 것입니다.
참고자료: From Tokens to Thoughts: How LLMs and Humans Trade Compression for Meaning
Comments