수십 년간 딥러닝은 작동하는 이유를 모르면서 작동시켜 온 분야였습니다. ChatGPT와 Claude가 세상을 바꾸는 지금, 그 미지의 영역은 오히려 더 넓어졌습니다. 그런데 최근 UC Berkeley, Harvard 등 주요 대학 연구자 14명이 공동으로 이런 주장을 내놓았습니다. “딥러닝의 과학적 이론이 윤곽을 드러내고 있다.”

출처: There Will Be a Scientific Theory of Deep Learning – arXiv (2026.04)

아직도 시행착오로 AI를 만드는 이유

뉴럴 네트워크는 지금도 주로 시행착오로 훈련됩니다. 하이퍼파라미터를 조정하고, 실험을 반복하고, “이게 잘 되더라”는 경험칙에 의존하죠. 물리학이나 화학처럼 “왜”를 설명하는 이론이 없기 때문입니다.

이 문제가 단순한 학문적 호기심에 그치지 않는 이유가 있습니다. 이론이 없으면 예측도 없고, 예측이 없으면 설계도 없습니다. 어떤 구조의 모델이 어떤 데이터에서 잘 작동할지, 왜 특정 훈련 방식이 더 효과적인지를 사전에 알 수 없다는 뜻이죠. AI 안전성 연구도 마찬가지입니다. 모델 내부에서 무슨 일이 벌어지는지 이론적으로 이해하지 못한 채, 문제가 생기면 사후 대응만 할 수밖에 없습니다.

5가지 수렴하는 연구 흐름

논문의 핵심 주장은 이렇습니다. 겉으로 보기엔 제각각인 연구들이 실은 같은 방향을 향해 수렴하고 있고, 그 수렴점에 딥러닝 이론이 있다는 것입니다.

연구팀이 제시한 5가지 흐름은 다음과 같습니다.

1. 분석 가능한 단순 모델: 선형 네트워크처럼 수학적으로 완전히 풀리는 이상화된 환경이 점점 늘고 있습니다. 현실의 복잡한 시스템에 대한 직관을 제공하는 역할입니다.
2. 극한 근사: 무한히 넓은 신경망, 무한히 깊은 네트워크 같은 극단적 조건에서 핵심 학습 현상이 선명하게 드러납니다.
3. 단순한 경험 법칙: 모델 성능, 손실 함수의 형태 같은 거시적 통계량을 의외로 단순한 수식으로 포착할 수 있다는 발견들이 쌓이고 있습니다. 스케일링 법칙이 대표적입니다.
4. 하이퍼파라미터 이론: 학습률, 배치 크기 등 하이퍼파라미터들을 나머지 훈련 과정으로부터 분리해 독립적으로 이해하는 방법론이 발전하고 있습니다.
5. 보편적 현상: 구조와 데이터, 태스크가 달라도 반복해서 나타나는 공통 패턴들이 있습니다. 이런 보편성이야말로 이론화의 단초가 됩니다.

이 흐름들의 공통점은 세 가지입니다. 훈련 과정의 동역학에 주목하고, 개별 파라미터보다 전체의 통계적 성질을 기술하며, 반증 가능한 정량적 예측을 목표로 합니다.

“딥러닝의 물리학”을 향해

논문은 이 이론에 학습 역학(learning mechanics) 이라는 이름을 제안합니다. 물리학의 고전역학, 통계역학처럼 딥러닝에도 제1원리로부터 출발해 수학적으로 검증 가능한 이론 체계가 필요하다는 뜻입니다.

비유가 흥미롭습니다. 연구팀은 학습 역학이 “딥러닝의 물리학”을 지향해야 한다고 말합니다. 한편 최근 활발히 발전하는 기계론적 해석 가능성(mechanistic interpretability) 연구는 “딥러닝의 생물학”에 해당합니다. 생물학이 유기체의 구조를 기술한다면, 물리학은 그 구조가 왜 그렇게 작동하는지를 설명합니다. 두 접근이 서로를 보완하면서 AI 이해의 전선이 넓어진다는 구조입니다.

이 이론이 성숙하면 실용적 의미도 상당합니다. 하이퍼파라미터 튜닝에 쓰이는 막대한 연산 비용을 줄이고, 데이터 설계에 예측 도구를 제공하며, AI 안전성 연구의 수학적 토대를 마련할 수 있습니다.

아직 이론은 맹아 단계입니다. 논문 자체가 완성된 이론을 제시하는 것이 아니라, 조각조각 흩어진 연구들이 하나의 큰 그림으로 수렴하고 있다는 포지션 페이퍼입니다. 어떤 열린 문제들이 남아 있는지, 왜 이 이론화가 쉽지 않은지에 대한 솔직한 논의도 원문에 담겨 있습니다.