얼마 전까지 AI 에이전트를 밤새 혼자 돌려두는 건 꽤 위험한 일이었습니다. 작은 오류가 눈덩이처럼 불어나 아침이면 작업물이 망가져 있곤 했으니까요. 그런데 지금은 정반대로, 오래 돌릴수록 결과가 좋아지는 쪽으로 흐름이 바뀌고 있습니다.

에이전틱스 컨설팅 Nori의 분석가(theahura)가 ‘토큰맥싱(tokenmaxxing)’을 주제로 쓴 글입니다. 토큰맥싱은 기업이 직원들에게 토큰을 잔뜩 쓰게 만들던 현상을 가리키는데요. 글의 핵심은 이 정책이 비용 부담에 막혀 사라지는 중이지만 더 강력한 형태로 되살아날 거라는 주장이고, 그 배경에 ‘AI를 오래 돌릴수록 좋아지는’ 국면 전환이 자리합니다.

출처: Agentics / Tech Things: Tokenmaxxing is dead, long live tokenmaxxing – 12 grams of carbon

토큰을 더 쓸수록 결과가 나빠지던 시절

예전에는 AI를 오래 돌리는 게 손해였습니다. 에이전트를 길게 작동시키면 모델이 만들어내는 작은 오류와 환각(hallucination)이 점점 쌓이고, 결국 되돌리기 어려운 형태로 작업물에 박혀버렸기 때문입니다. 저자는 이걸 ‘복리 오류(compounding error)’라고 부릅니다.

이 구조에서는 사람이 계속 지켜봐야 했고, 에이전트를 24시간 돌릴 이유도 없었습니다. 토큰을 더 쓸수록 결과가 더 나빠지는데, 굳이 비용을 들여가며 밤새 돌릴 사람은 없겠죠. 토큰 소비가 낮게 유지된 데에는 이런 기술적 한계가 깔려 있었습니다.

계산법이 뒤집혔다

저자가 말하는 변화의 핵심은 ‘복리 정확성(compounding correctness)’입니다. 한 작업에 토큰을 더 많이 투입할수록 좋은 결과가 나올 확률이 높아지는 국면으로 들어섰다는 겁니다. 오류가 누적되던 자리에 이제는 정확도가 누적된다는 관찰이죠.

다만 이 표현은 벤치마크로 확립된 표준 용어가 아니라, 저자가 현장 경험을 정리하며 붙인 이름입니다. 모든 작업에서 무한정 성립하는 법칙이라기보다 지금의 흐름을 설명하는 하나의 렌즈로 받아들이는 편이 안전합니다. 그럼에도 “더 돌리면 더 나빠진다”는 기존의 직관이 흔들리고 있다는 점은 분명합니다.

‘루프’가 갑자기 통하는 이유

이 변화는 최근 부쩍 주목받는 ‘루프(loop)’와 직접 연결됩니다. 루프의 기본 아이디어는 단순합니다. 에이전트를 한 턴 끝까지 돌린 뒤, 끝나면 같은 프롬프트로 다시 시작해 같은 작업을 반복시키는 방식입니다. 무거운 작업 명세를 던져주면 에이전트가 알아서 부분으로 나눠 시간을 들여 풀어가게 됩니다. 사람의 감독이 거의 필요 없죠.

새로운 개념은 아닙니다. 작년 여름부터 있던 방식이고, 한때는 ‘랄프 위검(Ralph Wiggum) 루프’라는 우스운 이름으로 불렸습니다. 예전에는 프롬프트를 정교하게 설계해야 겨우 작동했는데, 지금은 대충 시켜도 반복할 때마다 조금씩 나아집니다. 복리 정확성이 루프를 쉽게 만든 셈입니다.

뜻밖의 수혜자는 값싼 오픈 모델입니다. 비싼 모델이 한 번에 1.1배 개선해준다면, 5배 저렴한 모델은 1.05배밖에 못 올려도 다섯 배 더 많이 돌릴 수 있습니다. 반복 횟수로 품질을 사들이는 구조에서는, 특정 업체에 묶이지 않고 여러 모델 위에 올라타는 도구를 쓰는 쪽이 유리해집니다.

개인 실무자에게 바뀐 것

가장 실질적으로 달라진 건 “여기서 멈출까, 계속 돌릴까”라는 판단의 기준입니다. 과거에는 에이전트를 일찍 끊는 게 안전했습니다. 더 돌릴수록 망가질 위험이 컸으니까요. 지금은 같은 질문에 대한 답이 반대로 기울고 있습니다. 토큰을 더 쓰는 게 손해라는 직관이 더는 자동으로 맞지 않는다는 뜻입니다.

물론 저자는 에이전트 활용을 돕는 컨설팅 사업자이고, 글에는 낙관이 섞여 있습니다. 모든 작업에서 토큰을 무한정 들이부으면 좋아진다는 보장도 없습니다. 그래도 한 가지는 남습니다. 에이전트를 다루는 사람이라면, ‘얼마나 오래 돌릴 것인가’를 비용이 아니라 결과의 관점에서 다시 따져볼 시점이 됐다는 것입니다.