AI가 인간처럼 말을 잘한다는 건 이제 놀랍지도 않죠. 하지만 AI가 언어를 ‘사용’하는 것과 언어에 ‘대해 생각’하는 건 전혀 다른 문제입니다. 2023년 언어학의 거장 노엄 촘스키는 뉴욕타임스 기고를 통해 “언어에 대한 올바른 설명은 복잡하며 빅데이터에 담가두는 것만으로는 학습할 수 없다”며 AI의 한계를 명확히 선을 그었습니다. AI는 언어를 쓸 수 있어도 정교하게 분석할 능력은 없다는 거였죠.

그런데 UC Berkeley의 언어학자 Gašper Beguš 연구팀이 최근 발표한 논문이 이 주장을 정면으로 반박하는 결과를 내놨습니다. OpenAI의 o1 모델이 언어학 대학원생 수준으로 언어를 분석하는 능력을 보여준 겁니다.

출처: In a First, AI Models Analyze Language as Well as a Human Expert – Quanta Magazine

AI가 풀어낸 세 가지 언어 퍼즐

연구팀은 o1이 훈련 데이터로 답을 외웠을 가능성을 차단하기 위해 완전히 새로운 테스트를 만들었습니다. 그 결과는 예상을 뛰어넘었어요.

첫 번째, 재귀 구조의 마스터

“The astronomy the ancients we revere studied was not separate from astrology.”

이 문장 읽으면서 머리 아프셨나요? 이건 center embedding이라는 재귀 구조인데요, 문장 한가운데에 또 다른 절이 계속 끼어드는 형태입니다. 언어학자들은 이 무한히 반복 가능한 재귀 능력을 인간 언어의 핵심 특징으로 꼽아왔죠. 동물의 의사소통 체계에서는 발견된 적 없는 능력이었고요.

o1은 이 문장의 구조를 정확히 파악했습니다. “The astronomy [the ancients [we revere] studied] was not separate from astrology”라고 대괄호로 층위를 표시하며 분석한 거예요. 게다가 여기서 한 단계 더 나아가 “who lived in lands we cherish”라는 재귀를 추가로 끼워넣는 것까지 성공했습니다.

두 번째, 중의성 간파하기

“Rowan fed his pet chicken”

이 문장은 두 가지 의미로 읽힙니다. 로완이 애완동물인 닭에게 먹이를 준 건지, 아니면 다른 애완동물에게 닭고기를 준 건지. 예일대 언어학자 Tom McCoy는 “중의성 인식은 컴퓨터 언어 모델에게 악명 높게 어려운 과제”라고 말합니다. 인간은 상식을 동원해 자연스럽게 구분하지만 컴퓨터에게 그런 상식 지식을 갖추게 하기는 까다롭거든요.

o1은 이 문장에 대해 두 개의 서로 다른 구문 트리를 그려냈습니다. 하나는 ‘pet’이 ‘chicken’을 수식하는 구조, 다른 하나는 ‘chicken’이 먹이로 쓰인 구조였죠.

세 번째, 완전히 새로운 언어 학습

가장 인상적인 건 음운론 테스트였습니다. 연구팀은 30개의 인공 언어를 만들었어요. 각 언어마다 40개의 가짜 단어를 제시하고 o1에게 음운 규칙을 추론하라고 했죠.

예를 들어 이런 단어들이 주어졌습니다:
θalp, ʃebre, ði̤zṳ, ga̤rbo̤nda̤, ʒi̤zṳðe̤jo

o1은 이 언어를 보고 “유성 장애음 바로 뒤에 오는 모음은 기식 모음으로 변한다”는 규칙을 정확히 도출했습니다. 훈련 데이터에 절대 없었던 완전히 새로운 언어인데도요.

메타언어 능력이란 무엇인가

Beguš 교수는 이를 “메타언어적 능력(metalinguistic capacity)”이라고 불렀습니다. 언어를 사용하는 것과 언어에 대해 사고하는 것의 차이죠. 마치 자전거를 타는 것과 자전거의 작동 원리를 설명하는 게 다른 것처럼요.

카네기멜론대의 David Mortensen 교수는 “일부 언어학자들은 LLM이 진짜 언어를 하는 게 아니라고 말해왔다”며 “이 연구는 그런 주장에 대한 반박처럼 보인다”고 평가했습니다.

물론 한계는 남아 있습니다. 아직 어떤 언어 모델도 독창적인 언어학적 통찰을 내놓거나 우리가 몰랐던 언어의 새로운 측면을 발견하진 못했어요. 현재 모델들은 “주어진 단어 시퀀스에서 다음 토큰을 예측”하도록 훈련됐기 때문에 일반화에 어느 정도 한계가 있다는 지적도 있고요.

하지만 Mortensen은 “모델이 더 적은 데이터에서 더 창의적으로 일반화하는 방식으로 발전하는 건 시간문제”라고 내다봤습니다. Beguš 교수도 비슷한 전망을 내놨어요. “인간 언어의 고유한 영역이라고 여겨졌던 속성들이 하나씩 무너지고 있습니다. 우리가 생각했던 것보다 우리는 덜 독특한 존재인 것 같습니다.”

참고자료:

• For the First Time, AI Analyzes Language as Well as a Human Expert – WIRED
• Noam Chomsky: The False Promise of ChatGPT – The New York Times