보통 반도체 회사가 처음 내놓는 칩은 기존 강자를 따라가지 못합니다. 그런데 OpenAI가 2년 만에 처음 만든 추론 칩이 엔비디아의 최신 칩까지 앞질렀습니다.

OpenAI가 자체 추론 칩 ‘Jalapeño(할라피뇨)’의 첫 성능 실측을 반도체 학회 Hot Chips에서 공개했습니다. Broadcom과 함께 2024년 중반에 설계를 시작해 약 16개월 만에 테이프아웃까지 간 칩이죠. 반도체 분석 기관 SemiAnalysis가 자사 벤치마크 도구로 측정하고 일부 결과는 OpenAI 랩에서 직접 확인했는데, 와트당 처리량과 응답 지연 양쪽에서 엔비디아 Blackwell은 물론 아직 나오지도 않은 차세대 Rubin까지 앞섰습니다.

출처: Jalapeño’s first results show industry-leading speed and efficiency in AI inference – OpenAI

추론만 하는 칩, 그런데 특정 모델 전용은 아니다

먼저 Jalapeño는 ‘추론(inference)’ 전용 칩입니다. AI 모델을 학습시키는 게 아니라, 이미 학습된 모델을 돌려 답을 만들어내는 일만 합니다. 우리가 챗봇에 질문을 던지고 답을 받는 그 순간이 바로 추론이죠.

여기서 흔한 오해가 하나 갈립니다. “OpenAI가 만든 칩이니 GPT 전용이겠지”라는 생각인데, 실제로는 그렇지 않습니다. OpenAI는 특정 모델에 맞춘 칩이 아니라 범용 LLM 가속기로 설계했다고 밝혔습니다. 실제 벤치마크도 자사 모델이 아닌 오픈 모델들로 돌렸습니다. GPT-OSS 120B, DeepSeek R1, 그리고 Kimi K2.5까지 세 가지 모두에서 고르게 성능이 나왔습니다.

이 지점이 중요합니다. 특정 회사 모델에만 최적화된 칩이었다면 남의 일. 하지만 어떤 모델을 올려도 빨라지는 범용 칩이라면 이야기가 달라집니다.

숫자는 얼마나 빠른가, 그리고 어디까지 믿을까

핵심 수치부터 봅니다. 최대 처리량 기준으로 와트당 AI 작업량이 1.5~1.9배, 요청부터 응답까지 걸리는 엔드투엔드 지연은 1.7~3.6배 낮았습니다. 사용자가 실시간으로 주고받는 대화형 작업에서는 성능이 2.1~4.1배까지 벌어졌습니다. 체감 숫자로는 GPT-OSS에서 사용자당 초당 약 1,400토큰, DeepSeek R1에서는 단일 요청 기준 초당 700토큰을 넘겼습니다.

원래 하드웨어는 처리량과 지연 사이에서 하나를 택해야 하는 경우가 많습니다. 많이 처리하려면 느려지고, 빠르게 답하려면 한 번에 처리하는 양이 줄죠. Jalapeño는 하나의 아키텍처로 둘을 동시에 끌어올렸다는 게 OpenAI의 설명입니다.

다만 숫자를 읽을 때 두 가지 조건은 짚어둘 만합니다. 하나, 이 결과는 OpenAI가 제공한 수치를 SemiAnalysis가 일부 현장에서 검증한 것으로, 완전한 독립 벤치마크는 아닙니다. 둘, Jalapeño는 speculative decoding 같은 속도 향상 기법을 쓰지 않고 낸 숫자인 반면, 비교 대상 시스템 일부는 그런 최적화를 적용한 상태였습니다. 바꿔 말하면 아직 끌어올릴 여지가 남아 있다는 뜻이기도 합니다.

그래서 나에게 무엇이 달라지나

추론 원가가 내려간다는 건 결국 우리가 매달 내는 구독료와 API 요금, 그리고 응답을 기다리는 시간에 닿는 이야기입니다. 같은 답을 더 적은 전력으로 더 빨리 낸다면, 그 여유분은 가격 인하나 속도 개선, 혹은 더 무거운 모델을 같은 값에 쓰는 형태로 사용자에게 돌아올 수 있습니다.

범용 가속기라는 점도 오픈 모델을 쓰는 사람에게는 반가운 소식입니다. 내 컴퓨터가 아니라 클라우드에서 오픈 모델을 돌리는 비용도 함께 내려갈 여지가 생기는 겁니다.

한 가지 더. 지금 상시로 켜두는 AI 에이전트가 드문 이유 중 하나가 비용입니다. 몇 분마다 상황을 점검하는 에이전트는 유용성이 아니라 켜둔 시간에 비례해 요금이 불어나죠. 추론 단가가 크게 떨어지면, 비용 때문에 접어뒀던 이런 실시간 활용의 문턱도 조금씩 낮아집니다.

Jalapeño는 이제 첫 세대이고, 앞으로 여러 세대에 걸친 플랫폼의 시작이라고 OpenAI는 말합니다. 반도체 판이 엔비디아 한 곳으로 쏠려 있던 구도에, 모델을 만드는 회사가 칩까지 직접 만들어 들어오는 흐름을 보여주는 신호이기도 합니다.