2,888자짜리 TypeScript 파일 하나를 GPT-5.x에 넣으면 681토큰이 됩니다. 같은 파일을 Claude의 최신 토크나이저에 넣으면 1,178토큰이 됩니다. 글자 수는 똑같은데, 토큰 수는 73%나 차이가 납니다. 두 회사가 나란히 “$5.00 / 100만 토큰”이라고 써놓아도, 실제로 청구되는 금액은 같지 않다는 뜻입니다.

AI 코딩 툴 업체 Playcode가 영어 산문, HTML, JavaScript, Python, TypeScript, Rust 코드, JSON 스키마, 중국어 텍스트 등 16종의 실제 파일을 각 모델사의 공식 토크나이저로 직접 세어봤습니다. Anthropic 모델은 실제 청구에 쓰이는 count_tokens 엔드포인트로, OpenAI는 o200k_base 토크나이저로, Gemini와 Grok은 각 사의 토큰 계산 API로 셌습니다. 같은 바이트를 넣었을 때 모델마다 토큰 수가 얼마나 벌어지는지를 실측한 겁니다.

출처: The Same TypeScript Costs 73% More Tokens on Claude Than GPT – Playcode

가격표에 숨어 있지 않은 숫자

모델 하나를 쓰는 비용은 사실 두 숫자의 곱입니다. 내 콘텐츠가 몇 개의 토큰으로 쪼개지는지, 그리고 토큰 하나당 가격이 얼마인지. 가격표에 적힌 건 두 번째 숫자뿐이고, 첫 번째 숫자는 다들 그냥 똑같다고 가정합니다. 하지만 토크나이저는 회사마다 다르게 설계돼 있어서, 첫 번째 숫자부터 이미 다릅니다. 같은 문단을 넣어도 어떤 모델은 그걸 더 잘게 쪼개고, 다른 모델은 더 큼직하게 묶어서 셉니다.

Anthropic이 토크나이저를 바꾼 대가

Claude Opus 4.6과 4.8은 가격표가 똑같습니다(입력 $5.00, 출력 $25.00, 100만 토큰당). 하지만 그사이 Anthropic이 토크나이저를 새로 바꿨습니다. Sonnet 5, Opus 4.8, Fable 5부터 적용된 새 토크나이저는 똑같은 코드를 예전보다 20~39% 더 많은 토큰으로 쪼갭니다. TypeScript는 31%, Rust는 29%, 에이전트 시스템 프롬프트처럼 긴 영어 텍스트는 39%까지 늘었습니다. 실제 청구된 요청으로 교차 검증한 결과도 예측과 정확히 일치했습니다. 같은 콘텐츠를 Opus 4.6은 2,541토큰으로, Opus 4.8은 3,191토큰으로 청구했습니다.

다만 중국어 텍스트는 거의 변화가 없었습니다(435 대 433토큰). 이번 토크나이저 교체로 늘어난 몫은 영어와 코드에 집중돼 있다는 뜻입니다.

Sonnet 5는 출시가가 $2.00/$10.00으로, 이전 Sonnet 4.6의 $3.00/$15.00보다 낮아 보였습니다. 하지만 이건 2026년 8월 31일까지만 적용되는 도입가입니다. 그 기간에는 낮은 단가가 늘어난 토큰을 상쇄하고도 남아 실질적으로 조금 더 저렴하지만, 9월부터 가격이 $3.00/$15.00으로 돌아가면 늘어난 토큰은 그대로 남은 채 같은 작업의 비용이 예전보다 3분의 1가량 더 나가게 됩니다.

코드에서 격차가 가장 크게 벌어집니다

GPT의 o200k 토크나이저를 기준(1.00배)으로 놓고 비교하면, 격차는 코드에서 가장 두드러집니다.

• TypeScript — Claude 신형 1.73배, Claude 구형 1.32배, Gemini 3 Flash 1.16배, Grok 4.5 1.05배
• Rust — Claude 신형 1.58배, Claude 구형 1.22배, Gemini 3 Flash 1.19배, Grok 4.5 1.05배
• JavaScript — Claude 신형 1.52배, Claude 구형 1.26배, Gemini 3 Flash 1.23배, Grok 4.5 1.11배
• 영어 산문 — Claude 신형 1.40배, Claude 구형 1.05배, Gemini 3 Flash 1.01배, Grok 4.5 1.00배

TypeScript가 가장 나쁜 사례로 나온 이유는 역설적으로 GPT가 TypeScript를 유독 잘 압축하기 때문입니다. o200k는 웹 개발에 흔한 camelCase 식별자나 JSX 패턴을 대량으로 학습해서, 문자 4.24자당 토큰 하나꼴로 효율적으로 묶어냅니다. Claude의 토크나이저는 언어별로 큰 차이 없이 고르게 처리하기 때문에, 하필 GPT가 가장 강한 언어에서 격차가 가장 크게 벌어지는 셈입니다.

중국어는 결이 다릅니다. Claude는 신형이든 구형이든 중국어에서는 GPT보다 1.45~1.55배 더 많은 토큰을 씁니다. 이건 새 토크나이저가 만든 문제가 아니라 원래부터 있던 특성입니다. 오히려 Gemini는 중국어에서 GPT보다도 효율적입니다. 어떤 토크나이저가 더 비싼지는 결국 무엇을 쓰느냐에 달려 있습니다.

실질 가격으로 환산하면

목록가에 이 배율을 곱하면 실제로 같은 작업을 처리하는 데 드는 실질 가격이 나옵니다. 코딩 요청에 가까운 영어+코드 혼합 기준으로 정리하면 다음과 같습니다.

GPT-5.5와 GPT-5.6 Sol은 토크나이저가 같아서 목록가와 실질가가 그대로 일치합니다. Gemini 3 Flash는 토크나이저가 GPT보다 살짝 무겁지만, 그럼에도 여전히 가장 저렴한 선택지로 남습니다.

참고할 만한 독립적인 사례도 있습니다. Ploy가 프로덕션 에이전트를 GPT-5.6 Sol로 옮긴 뒤 발표한 자료를 보면, 같은 빌드 작업에서 입력 토큰이 170만 개로, Claude Opus 4.8의 260만 개보다 약 35% 적게 나왔습니다. 이건 토크나이저만 따로 뗀 수치가 아니라 모델의 답변 길이까지 섞인 전체 작업 비용이지만, 방향은 같습니다.

이 조사가 측정한 건 입력 토큰화뿐입니다. 실제 작업에서는 출력 분량, 추론(thinking) 토큰, 캐시 처리 방식까지 더해지면서 총 비용이 또 한 번 벌어질 수 있습니다. 캐시 트래픽도 토큰 단위로 청구되기 때문에, 토큰을 32% 더 많이 만들어내는 토크나이저는 캐시 쓰기와 읽기 비용도 그만큼 함께 불어난다는 점이 특히 눈여겨볼 대목입니다.

참고자료: Migrating a production AI agent to GPT-5.6 – Ploy