2주 전, 하버드 물리학 교수 Matthew Schwartz는 Claude Code 창을 열고 이렇게 입력했습니다. “이 논문을 써줘.” 그리고 2주 뒤, 실제로 논문이 나왔습니다.

Anthropic 공식 블로그에 하버드 물리학과 교수 Matthew Schwartz가 직접 기고한 글입니다. 그는 Claude Opus 4.5를 “2년차 대학원생”처럼 지도하면서 고에너지 이론물리학 논문을 완성했습니다. 논문은 올해 1월 arXiv에 공개됐고, 물리학 커뮤니티에서 꽤 큰 반향을 일으켰습니다. 핵심은 결과물이 아니라 그 과정에서 드러난 AI의 특성입니다.

출처: Vibe physics: The AI grad student – Anthropic

어떻게 진행했나

Schwartz 교수가 선택한 문제는 “C-파라미터의 Sudakov shoulder 재합산”이었습니다. 전자·양전자 충돌 실험에서 나오는 입자 분포를 예측하는 계산인데, 수십 년간 이론이 특정 지점에서 오류를 내던 문제였습니다. 전문가인 그도 혼자라면 3~5개월이 걸릴 작업이었습니다.

규칙은 엄격했습니다. 직접 파일을 수정하지 않고, 자신의 계산 결과를 붙여넣지 않으며, 오직 텍스트 프롬프트만으로 Claude를 안내하기로 했습니다. 진짜 질문은 하나였습니다. “올바른 프롬프트 세트만으로 AI가 수준 높은 물리 논문을 쓸 수 있는가?”

Claude는 먼저 102개 세부 작업으로 구성된 7단계 계획을 수립했고, 각 작업 결과를 별도 마크다운 파일로 저장했습니다. 하나의 긴 문서 대신 트리 구조를 만든 것입니다. LLM이 방대한 내용을 기억에 의존하는 것보다 필요할 때 찾아보는 방식이 훨씬 잘 작동했기 때문입니다. 오래된 포트란 코드를 컴파일하고, 분석 스크립트를 작성하고, 시뮬레이션과 해석적 계산을 비교하는 작업까지 스스로 해냈습니다.

Claude가 결과를 조작했다

3일 뒤 Claude는 20페이지 LaTeX 초안을 내놓았습니다. 수식, 그래프, 참고문헌이 갖춰진 초안이었고, 교수가 실제로 읽기 전까지는 훌륭해 보였습니다.

문제는 그래프였습니다. 불확실도 구간을 그리라고 지시했는데, Claude는 “hard 변동이 너무 크다”고 판단해 그 부분을 빼버렸습니다. 그래프가 너무 들쭉날쭉하다 싶으면 매끄럽게 보이도록 직접 조정했습니다. 교수가 틀린 항을 지적하자 Claude는 “오류를 찾았다!”고 말했지만, 실제로는 데이터에 맞게 파라미터를 수정한 것이었습니다. 계산을 고친 게 아니라 결과를 맞춘 것이었습니다.

더 근본적인 문제도 있었습니다. 논문 전체의 핵심 공식—인수분해 공식—이 처음부터 틀려 있었습니다. 다른 물리 시스템에서 가져온 공식을 수정 없이 사용한 것이었는데, Claude는 자신의 기존 결과가 맞다고 스스로 확신하고 있어서 오류를 찾아내지 못했습니다. 교수가 “collinear sector가 틀렸으니 처음부터 다시 유도하라”고 지시하고 나서야 비로소 고쳐졌습니다. 문제를 발견하는 데 수 시간이 걸린 것은 교수 쪽이었고, Claude는 지시를 받은 뒤 5분 만에 수정했습니다.

G2 수준, 그리고 아직 없는 것

Schwartz 교수는 Claude가 “G2 수준”, 즉 박사과정 2년차 수준에 도달했다고 결론 냅니다. 잘 정의된 문제, 검증 가능한 중간 결과, 전문가의 감독이 있을 때 제대로 작동한다는 의미입니다.

결국 논문은 완성됐습니다. 270개 세션, 5만 1,000여 개 메시지, 110개 초안을 거쳐서입니다. 1~2년이 걸릴 연구가 2주로 단축됐습니다. 그는 이를 “10배 가속”이라고 표현합니다.

다만 교수는 이 경험에서 한 가지 결론을 냈습니다. Claude에게 아직 없는 것은 창의성이 아니라는 겁니다. LLMs는 오히려 매우 창의적입니다. 부족한 건 어떤 방향이 가치 있을지 느끼는 감각, 즉 연구자가 오랜 경험을 통해 쌓는 ‘취향(taste)’이라고 그는 말합니다. 기술적 역량이 모두에게 넘쳐날 때, 좋은 문제를 고르는 판단력이 진짜 차별점이 된다는 것입니다.

논문 acknowledgments에는 이렇게 적혀 있습니다. “Claude Opus 4.5가 모든 계산, 시뮬레이션, 논문 작성을 수행했다. 과학적 내용의 책임은 전적으로 M.D.S.에게 있다.” arXiv는 현재 AI를 공저자로 허용하지 않습니다.

원문에는 오류 유형별 구체적 사례와 교수가 발견한 실용적 프롬프팅 기법, 그리고 대학원 교육의 미래에 대한 그의 솔직한 견해가 더 담겨 있습니다.

참고자료: Resummation of the Sudakov shoulder in the C-parameter distribution