GPU 커널을 빠르게 설계해본 경험이, 수백 년 묵은 수학 난제를 푸는 데도 도움이 될까요?

미네소타대, 카네기멜런대, KAIST, 케임브리지대, 한양대 등이 함께 참여한 연구팀이 이 질문에서 출발한 논문을 냈습니다. 최근 LLM을 진화적 탐색 알고리즘과 결합하는 방식이 수학 난제, GPU 커널 설계, 과학 법칙 발견 같은 최적화 문제에서 최고 성능을 내고 있는데, 연구팀은 여기서 놓치고 있던 지점을 짚었습니다. 문제를 하나 풀 때마다 모델이 매번 처음부터 다시 탐색해야 한다는 겁니다.

출처: Evolution Fine-Tuning: Learning to Discover Across 371 Optimization Tasks – arXiv

탐색 경험이 모델 밖에만 쌓이던 문제

LLM과 진화적 탐색을 결합하는 기존 방식은 이렇게 작동합니다. 모델이 후보 해법을 하나 내놓으면, 별도의 스캐폴드(보조 로직)가 점수를 매기고 우수한 후보들을 추려 다음 시도에 반영합니다. 이 루프를 반복하며 해법이 점점 나아지는 방식이죠. 문제는 “무엇을 바꿔봐야 할지”, “언제 이전 시도로 되돌아가야 할지” 같은 탐색 요령이 모델 안이 아니라 이 스캐폴드 쪽에만 쌓인다는 점입니다. 그래서 크고 비싼 프론티어 모델에 의존하거나, 한 문제에만 맞춰 모델을 미세조정하는 두 갈래로 나뉘어 왔는데, 두 방식 모두 그 문제에서 얻은 요령을 다른 문제에 재사용하지는 못했습니다.

정답이 아니라 탐색 과정을 가르치다

연구팀이 제안한 Evolution Fine-Tuning(EFT)은 접근을 뒤집습니다. 모델에게 정답을 외우게 하는 대신, 탐색이 진행되는 궤적 자체를 학습 데이터로 씁니다. 이를 위해 10개 도메인, 371개 최적화 과제에 걸쳐 15만 6천 개의 탐색 궤적을 모은 “핀치 컬렉션(Finch Collection)”이라는 데이터셋을 만들고, 이 데이터로 20억에서 90억 개 파라미터 규모의 오픈소스 모델들을 미세조정했습니다. 모델이 배우는 건 특정 문제의 답이 아니라, 여러 문제를 거치며 반복된 “이렇게 시도하고, 이런 경우엔 되돌아간다”는 패턴 자체입니다.

한 번도 안 본 문제에서도 통했다

효과는 학습에 쓰지 않은 새로운 22개 과제에서 확인됐습니다. EFT로 학습한 모델은 기존 베이스 모델보다 평균 10.22% 더 나은 결과를 냈습니다. 테스트 시점에 추가로 강화학습을 더하면 원 서클 패킹(circle-packing) 문제 두 개에서 기존 최고 수준 성능과 맞먹었고, 에르되시 최소 중첩 문제에서도 베이스 모델을 앞질렀습니다. 특히 눈에 띄는 건 경쟁 프로그래밍 대회 문제를 풀 때의 차이입니다. EFT로 학습한 모델은 조합 최적화, 추천 시스템, 통계·컴퓨터 비전 등 서로 다른 도메인에서 익힌 전략들을 섞어 새 문제에 적용했는데, 학습하지 않은 베이스 모델은 한 가지 전략만 반복해서 시도하는 데 그쳤습니다.

연구팀은 이 방식을 두고, 매번 새 문제를 백지 상태에서 풀지 않는 범용 발견 에이전트로 가기 위한 “연습 단계”라고 표현합니다. 요령을 스캐폴드가 아니라 모델 자체에 쌓아두면, 다음 문제를 풀 때 그 경험이 그대로 이어진다는 뜻입니다.