AI가 수학 천재보다 똑똑해질 수 있을까요? 혹은 적어도 수학자의 든든한 조수가 될 수 있을까요?

필즈상 수상자 테렌스 타오(Terence Tao) 교수가 직접 이 질문에 답을 내놓았습니다. 그는 Google DeepMind의 AlphaEvolve라는 AI 도구를 사용해 67개의 수학 문제를 테스트했고, 그 모든 성공과 실패를 솔직하게 기록한 논문을 발표했습니다. 단순한 홍보가 아닌, 실전 사용기입니다.

테렌스 타오 교수와 공동 연구자들이 Google DeepMind의 AlphaEvolve를 사용해 해석학, 조합론, 기하학, 정수론 등 다양한 분야의 수학 문제 67개를 테스트한 결과를 담은 논문입니다. 흥미로운 점은 이 논문이 AI의 성공만이 아니라 실패 사례까지 모두 투명하게 공개했다는 것이죠. 각 문제에 대한 프롬프트, 검증 코드, 최종 결과가 모두 GitHub 저장소에 공개되어 있습니다.

출처: Mathematical exploration and discovery at scale – arXiv

AI가 코드를 진화시켜 수학 문제를 푼다

AlphaEvolve는 어떻게 작동할까요? 핵심은 대규모 언어 모델(LLM)과 진화 알고리즘의 결합입니다.

생물의 진화를 떠올려보세요. 무작위 변이가 일어나고, 환경에 더 잘 적응한 개체가 살아남아 다음 세대를 만듭니다. AlphaEvolve도 비슷하게 작동합니다. 먼저 Gemini 같은 LLM이 문제를 풀기 위한 컴퓨터 코드를 여러 개 생성합니다. 그런 다음 자동 평가 시스템이 각 코드를 실행해서 얼마나 좋은 해답을 내놓는지 점수를 매기죠.

여기서 핵심은 다음 단계입니다. 점수가 높은 코드들을 선택해서 다시 LLM에게 보여주며 “이걸 더 개선해봐”라고 요청합니다. LLM은 코드를 약간씩 변형하거나 결합해서 새로운 버전을 만들어냅니다. 이 과정을 수십, 수백 번 반복하면서 점점 더 나은 해답을 찾아가는 것이죠.

중요한 건 AlphaEvolve가 단순히 답을 맞히는 게 아니라 실행 가능한 프로그램을 만들어낸다는 점입니다. 이 프로그램은 검증 가능하고, 다른 문제에도 응용할 수 있으며, 인간 연구자가 읽고 이해할 수 있습니다.

75% 재발견, 20% 개선, 그리고 300년 묵은 문제

결과는 어땠을까요? 67개 문제 중 약 75%에서 AlphaEvolve는 이미 알려진 최선의 해답을 재발견했습니다. 이것만으로도 인상적이죠. 수학자들이 수십 년에 걸쳐 찾아낸 결과를 AI가 몇 시간 안에 다시 찾아낸 겁니다.

더 놀라운 건 약 20%의 문제에서 기존 최고 기록을 넘어섰다는 사실입니다. 대표적인 예가 키싱 넘버(kissing number) 문제입니다.

키싱 넘버 문제는 이렇습니다. 공 하나를 놓고, 그 주위에 같은 크기의 공들을 빈틈없이 배치하면 최대 몇 개까지 닿게 할 수 있을까요? 3차원에서는 12개라는 게 증명되어 있습니다. 하지만 차원이 높아지면 문제가 급격히 어려워지죠. 300년 넘게 수학자들을 괴롭혀온 난제입니다.

AlphaEvolve는 11차원 공간에서 593개의 외부 구체가 중심 구체에 동시에 접촉하는 배치를 찾아냈습니다. 이전 최고 기록은 592개였습니다. 단 하나 차이지만, 수학에서 새로운 하한을 제시했다는 건 의미 있는 진전입니다.

또 다른 성과는 행렬 곱셈 알고리즘입니다. AlphaEvolve는 4×4 복소수 행렬을 곱하는 데 필요한 스칼라 곱셈 횟수를 48회로 줄였습니다. 1969년 슈트라센이 제안한 알고리즘을 개선한 것이죠.

수학자와 AI의 새로운 협력 방식

이 연구가 보여주는 건 단순히 “AI가 수학을 잘한다”가 아닙니다. 수학자와 AI가 어떻게 협력할 수 있는지를 구체적으로 보여줍니다.

테렌스 타오는 논문에서 AlphaEvolve의 장점을 이렇게 설명합니다. 대부분의 실험을 몇 시간 안에 설정할 수 있었고, 복잡한 준비나 계산 시간이 크게 줄었다고 말이죠. 수학자는 문제를 정의하고 평가 방법을 설계하는 데 집중하고, AI는 방대한 탐색 공간을 빠르게 훑으며 해답을 찾습니다.

하지만 한계도 명확합니다. AlphaEvolve는 문제가 명확하게 정의되고 자동으로 평가할 수 있을 때만 작동합니다. 추상적인 증명을 만들거나, 새로운 개념을 창조하거나, 문제 자체를 재정의하는 능력은 여전히 인간 수학자의 몫입니다.

Google은 이미 AlphaEvolve를 실전에 투입했습니다. 데이터센터 스케줄링 알고리즘을 개선해 전 세계 컴퓨팅 자원의 0.7%를 추가로 확보했고, Gemini AI 모델의 학습 시간을 1% 단축했습니다. 수학 연구뿐 아니라 실용적인 최적화 문제에도 효과적이라는 뜻입니다.

앞으로 AlphaEvolve가 더 많은 수학자들에게 공개되면, 우리는 AI와 인간이 협력해서 푸는 수학 문제들을 더 많이 보게 될 것입니다. 300년 묵은 문제에 새 답을 제시하는 AI. 수학의 미래가 조금씩 모습을 드러내고 있습니다.

참고자료:

• AlphaEvolve: A Gemini-powered coding agent for designing advanced algorithms – Google DeepMind
• GitHub: AlphaEvolve Repository of Problems – Google DeepMind

Like?