같은 작업을 예전 모델로 돌리면 1달러쯤 나왔습니다. 지금 소형 모델로 돌리면 10센트입니다. 단순히 싸진 게 아니라, 아예 시도할 엄두조차 안 나던 일을 이제 편하게 던져볼 수 있게 됐다는 뜻이죠.

Segment 공동창업자 캘빈 프렌치오웬이 gpt-5.6-luna를 몇 주 써보고 남긴 기록입니다. 초당 100토큰 안팎으로 코드베이스와 이메일, 지식베이스를 훑는데, 복잡한 리서치 스레드를 아무리 돌려도 큰 청구서를 만들기가 어려웠다고 하죠. 수천 통의 이메일을 검색하게 시켜도 API 비용이 수십 센트에 그쳤습니다.

출처

• Small Models Have Arrived – calv.info

비용이 아까워 안 시키던 일

그는 개인화 뉴스 사이트 만들기를 자신만의 테스트로 씁니다. “인터넷에서 나를 조사하고, 내가 좋아할 뉴스를 골라, 오늘의 주요 소식으로 미니 사이트를 만들어라.” HN과 레딧, 트위터까지 뒤지는 제법 무거운 작업이죠.

전 세대 모델(Sonnet 급)로 이걸 한 번 돌리면 대략 1달러가 들었습니다. 소비자 앱이라면 감당하기 어려운 숫자입니다. 한 번 쓸 때마다 1달러가 나가는데 월 30달러를 받는다면, WSJ이나 이코노미스트만큼의 가치를 내놓아야 겨우 말이 됩니다.

그런데 루나로 같은 작업을 하면 평균 10센트 안팎입니다. 결과물도 제법 쓸 만합니다. 프렌치오웬이 “왜 소비자 AI 회사가 더 안 보이냐”는 투자자들의 질문에 “토큰 비용”이라고 답하는 이유가 여기 있습니다. 요청 하나하나에 실제 추론 비용이 붙던 구조가, 비용 문턱이 내려가면서 조금씩 달라지고 있죠.

천재의 일과 물량의 일

프렌치오웬은 일을 두 종류로 나눕니다. 하나는 “IQ 180″의 일. 누구도 생각 못한 해법을 찾아내는 천재형 작업입니다. 다른 하나는 “토큰 뿌리기”의 일. 여러 전선을 동시에 밀어붙이며 빠르게 반응하는, 물량으로 승부하는 작업이죠.

값이 싸지면서 달라지는 건 후자입니다. 비싼 최상위 모델을 아껴 쓰던 일들, 이를테면 수백 개 파일을 훑거나 대량의 문서를 검색하고 정리하는 작업을 이제 소형 모델에 마음 놓고 맡길 수 있습니다. 코딩처럼 최고 성능이 필요한 자리에는 여전히 비싼 모델을 쓰되, 물량으로 밀어야 하는 자리에는 값싼 모델을 붙이는 식으로 나뉘는 겁니다.

파레토 프론티어에 늘어나는 선택지

이 흐름을 떠받치는 건 성능 대비 비용을 계속 밀어내는 모델들입니다. 프렌치오웬은 GLM 5.3을 파레토 프론티어의 새 선택지로 꼽았습니다. 성능과 비용을 두 축으로 놓았을 때, 같은 성능을 더 싸게 혹은 같은 값에 더 좋은 성능을 주는 지점이 계속 갱신된다는 뜻입니다.

알리바바가 내놓은 Qwen3.8-Flash-Next도 같은 방향입니다. 총 파라미터는 1250억 개지만 토큰마다 실제로 켜지는 건 60억 개뿐인 MoE(전문가 혼합) 구조라, 크기에 비해 속도와 비용이 크게 붙습니다. 자주 쓰이는 단어 묶음을 사전처럼 따로 저장해 GPU가 아닌 일반 시스템 메모리에 얹는 새 기법도 들어갔습니다. 프로덕션 버전의 가격은 입력 100만 토큰에 0.16달러, 출력에 0.47달러 수준이죠.

알리바바는 자체 벤치마크에서 이 모델이 훨씬 크거나 비싼 모델들을 여러 과제에서 앞섰다고 밝혔습니다. 자사 발표 수치인 만큼 그대로 받아들이긴 이르지만, 활성 파라미터를 줄여 비용을 낮추면서 성능을 지키려는 설계 방향은 분명히 읽힙니다.

문턱이 내려가면 워크플로가 바뀐다

값이 싸다는 이야기는 늘 있었습니다. 다른 점은, 이번엔 “비용이 아까워 안 시키던 일”의 목록이 실제로 줄어들고 있다는 겁니다.

예전 같으면 큰 작업을 앞두고 “이걸 모델에 돌려도 될까”부터 계산했습니다. 그 계산이 느슨해지면, 대충 던져보고 결과를 보고 다시 던지는 식의 탐색이 가능해지죠. 수천 통 이메일을 훑는 리서치, 코드베이스 전체를 몇 번씩 다시 읽히는 검토 같은 것들.

내 일에서 “비싸서 미뤄둔 것”이 무엇인지 한 번 떠올려볼 만합니다. 그 문턱이 어디까지 내려왔는지는, 실제로 작은 작업 하나를 값싼 모델에 던져보면 금방 감이 옵니다.

참고자료

• Qwen3.8-Flash-Next – Simon Willison
• Alibaba releases Qwen3.8-Flash-Next, targeting “ultimate cost efficiency” – The Decoder