8월 1일, OpenAI는 미공개 모델 Astra가 열 개의 수학·이론컴퓨터과학 난제를 풀거나 진전시켰다고 발표했습니다. 그중 세 개는 헝가리 수학자 폴 에르되시가 남긴 문제였죠. 석 달 전인 5월에도 비슷한 소식이 있었습니다. 내부 모델이 1946년 에르되시가 제기한 “단위 거리 문제”의 반례를 찾아냈다는 발표였죠.

출처: Why the Legendary Erdős Problems Are Falling to AI – Quanta Magazine

두 소식 다 놀라운 성과지만, 그것만으로는 설명 안 되는 게 있죠. 왜 하필 에르되시 문제일까요. AI가 도전할 만한 수학 난제는 그 말고도 수없이 많은데 말입니다. Quanta Magazine이 이 질문을 파고들면서 드러난 건, 우연이 아니라 문제 자체의 구조 때문이라는 것.

흩어진 문제들을 정리한 한 수학자

이 모든 흐름의 시작점은 대기업 연구소가 아니라 영국 맨체스터 대학의 수학자 토머스 블룸이었습니다. 에르되시는 평생 수천 개의 문제를 논문과 편지에 흩뿌려 놓고 다녔죠. 어떤 게 풀렸고 어떤 게 아직 열려 있는지, 정리해 둔 사람이 아무도 없었습니다. 2023년, 블룸은 이걸 개인적으로 정리해 두려고 erdosproblems.com이라는 사이트를 만들었습니다.

그 사이트가 특별했던 이유는 두 가지입니다. 하나는 블룸이 애매하게 서술된 원문을 가장 명확한 형태로 다듬어 정리했다는 것. 다른 하나는 2025년 8월 댓글 기능이 추가되면서, 아마추어와 전문가가 뒤섞여 토론하는 커뮤니티가 자연스럽게 만들어졌다는 점입니다.

2025년 10월, 콜센터 회사에서 일하며 취미로 수학을 하던 바우터르 판도른이 어떤 문제에 댓글을 남겼습니다. 몇 시간 뒤 그 댓글에 답을 단 사람은 현존하는 가장 유명한 수학자 중 한 명인 테런스 타오였죠. 학벌도, 소속도 묻지 않는 토론장이 만들어진 셈입니다.

왜 하필 이 문제들일까

에르되시 문제가 AI에 특히 잘 풀리는 데는 구조적인 이유가 있습니다. 우선 그가 다룬 분야 자체가 정수론, 조합론, 그래프 이론에 몰려 있는데, 이 분야들이 다른 수학 영역보다 LLM에 상대적으로 더 잘 다뤄지죠. 여기에 더해 문제의 난이도가 극단적으로 다양하다는 것도 한몫합니다. 아직 능력이 들쭉날쭉한 신생 기술에게, 쉬운 문제부터 어려운 문제까지 고를 수 있는 폭넓은 시험장이 되어준 셈입니다.

무엇보다 결정적인 건 정답 판정이 명확하다는 것. 증명은 검증 가능하고, 긴 논증도 처음부터 끝까지 논리가 끊기지 않아야만 성립합니다. 모호한 판단이 끼어들 여지가 없죠. 그래서 AI가 낸 답이 맞았는지 틀렸는지를 사람이 비교적 빠르게 확인할 수 있습니다.

실제로 이 조건을 가장 먼저 활용한 건 대기업이 아니었습니다. 케임브리지 학부생 케빈 바레토와 대학을 중퇴한 리엄 프라이스는 2025년 12월부터 GPT-5.2에게 에르되시 문제를 무작정 던져보기 시작했죠.

처음엔 크리스마스 아침에 “AI가 완전히 자율적으로 문제를 풀어낸 첫 사례”라며 흥분해서 답을 올렸습니다. 몇 시간 뒤 그 문제가 이미 1977년 에르되시 본인이 풀어놓은 것이었다는 사실이 드러나 망신을 당하기도 했죠.

그래도 포기하지 않고 계속 시도한 끝에, 1월에는 이전에 아무도 풀지 못한 문제(Erdős 728)의 답을 찾아냈습니다. 프라이스는 자신이 그 증명을 검증할 만한 수학 실력이 없다는 걸 스스로도 인정하는데, 대신 바레토의 도움으로 검증해 줄 수학자를 찾아 확인받는 방식으로 작업을 이어갔죠.

문제 자체가 아니라, 문제의 조건이 답이었다

에르되시 문제가 몰락한 게 아니라, AI가 잘 붙는 문제의 조건을 우연히 갖추고 있었다는 게 더 정확한 설명입니다. 서술이 짧아 프롬프트에 담기 쉽고, 정답인지 아닌지가 명확히 갈리고, 난이도가 다양해서 지금 수준의 AI도 어딘가에서는 성과를 낼 수 있는 문제. 이 세 조건이 겹치는 지점에서 에르되시 문제가 시험대가 된 것입니다.

이건 수학 밖에서도 똑같이 적용해볼 수 있는 기준입니다. 내가 업무에서 AI에게 맡겨보고 싶은 작업이 있다면, 그 작업이 짧고 명확하게 서술 가능한지, 결과물이 맞았는지 틀렸는지를 내가 빠르게 판단할 수 있는지부터 따져보는 게 순서일 겁니다. 반대로 서술 자체가 모호하거나, 결과가 그럴듯해 보이는지 아닌지를 판단하기 어려운 작업이라면 AI가 아무리 뛰어나도 성과를 검증하기 어렵습니다. 블룸이 이런 종류의 어려움을 직접 지적하기도 했습니다. 수학 배경이 부족한 사람이 AI에게 증명을 시키고 검증도 AI에게 맡기면서, 아무도 실제로 읽지 않은 100~200쪽짜리 논문이 쏟아지는 현상이 벌써 문제로 떠오르고 있다는 것입니다.