애플은 iOS 26과 macOS 26에서 기존 음성 인식 API인 SFSpeechRecognizer를 새 API인 SpeechAnalyzer로 교체하면서 정확도 수치를 하나도 공개하지 않았습니다. 그 결과 이 API로 갈아탈지 말지, Whisper와 비교하면 어떤지 판단해야 하는 개발자들은 다들 추측에 의존해야 했습니다.

프라이빗 온디바이스 AI 워크스페이스 Inscribe는 애플의 두 엔진과 Whisper 세 모델을 자사 제품에서 나란히 서비스하고 있습니다. 같은 기기, 같은 오디오, 같은 프로덕션 코드 경로로 다섯 엔진을 전부 돌려볼 수 있는 위치에 있었던 셈이고, 실제로 그렇게 했습니다.

출처: Apple’s New Speech API vs Whisper: The First Real Benchmark – Inscribe

LibriSpeech로 측정한 결과

테스트는 음성 인식 표준 코퍼스인 LibriSpeech로 진행됐습니다. 깨끗하게 녹음된 문장 2,620개(test-clean)와, 더 시끄럽고 어려운 문장 2,939개(test-other)를 Apple M2 Pro에서 다섯 엔진 모두 완전히 온디바이스로 돌려 단어 오류율(WER, 엔진이 틀리게 바꾸거나 빠뜨리거나 지어낸 단어의 비율)을 쟀습니다.

숫자는 낮을수록 정확하다는 뜻입니다. 신형 SpeechAnalyzer는 두 구간 모두에서 Whisper의 가장 큰 모델인 Small을 앞섰고, 속도는 오히려 Small보다 약 3배 빨랐습니다. 반대로 기존 API였던 SFSpeechRecognizer는 40MB짜리 초경량 모델인 Whisper Tiny보다도 깨끗한 음성에서 뒤처졌습니다.

구형 API를 쓰고 있다면 갈아탈 이유가 명확합니다

같은 오디오를 놓고 봤을 때 신형 API는 단어 오류율을 3.5~4배 줄였습니다. 깨끗한 음성에서는 9.02%에서 2.12%로, 시끄러운 음성에서는 16.25%에서 4.56%로 떨어졌습니다. 정확도를 저울질할 트레이드오프가 딱히 없다는 게 이 결과의 핵심입니다. 신형 API는 측정한 모든 구간에서 이겼고, 문장부호와 대소문자까지 정리된 텍스트를 내놓는 반면 구형 엔진의 출력은 더 거칩니다.

한 시간짜리 회의를 구형 API로 받아 적으면, 같은 회의를 신형 API로 받아 적었을 때보다 틀린 단어가 대략 네 배 많다는 뜻입니다. 음성 명령 정도가 아니라 좀 더 긴 텍스트에 구형 API를 계속 쓰고 있다면, 정확도만 놓고 봐도 옮겨 탈 이유가 충분합니다.

신형 API가 Whisper의 자리를 흔든 이유

더 눈에 띄는 결과는 애플의 새 엔진이 자신들이 서비스하는 가장 큰 모델인 Whisper Small마저 넉넉한 격차로 이겼다는 점입니다. 게다가 오디오 1초를 처리하는 데 걸리는 연산 시간은 Whisper Small의 3분의 1 수준이었습니다. 적어도 영어, 애플 기기라는 조건에서는 시스템에 이미 내장된 엔진이 측정 가능한 온디바이스 옵션 중 가장 강력해진 셈입니다.

다만 Whisper가 여전히 갖는 이점도 있습니다. 지원 언어가 훨씬 많고(신형 API는 약 30개 로케일을 지원), 애플 최신 OS가 아닌 어디서든 돌아간다는 점입니다. 하지만 현재 아이폰이나 맥에서 영어 받아쓰기를 한다면, Whisper가 자동으로 정확도 1순위였던 시절은 끝났다고 볼 수 있습니다. Inscribe는 이 결과를 자사 제품에도 그대로 반영해, 지원되는 언어에서는 SpeechAnalyzer를 기본값으로 바꿨습니다.

검증 가능하게 설계된 벤치마크

엔진 하나를 판매하는 회사가 내놓은 벤치마크는 의심하고 봐야 정상입니다. Inscribe는 이 의심을 염두에 두고 두 가지 장치를 뒀습니다.

하나는 자신들이 측정한 Whisper 수치를 OpenAI가 공식 발표한 수치와 나란히 놓고 검증한 것입니다. 여섯 개 측정값 모두에서 Inscribe의 수치가 OpenAI 발표치보다 살짝 높게(0.11~0.42%포인트) 나왔는데, 이는 더 엄격한 텍스트 정규화와 CoreML 양자화 때문으로, 방향이 무작위로 흩어지지 않고 일관되게 한쪽으로 쏠린다는 건 정직한 재현이라는 신호입니다. 같은 코퍼스와 정규화 방식, 채점 기준으로 애플 쪽 수치도 함께 냈기 때문에, 아무도 검증할 수 없었던 숫자가 누구나 검증 가능한 숫자의 신뢰도를 함께 물려받는 구조입니다.

다른 하나는 애플 두 엔진의 발화 단위 원본 전사 결과 5,559건을 전부 공개한 것입니다. 정규화 방식에 동의하지 않으면 직접 다시 채점해볼 수 있게 열어둔 셈입니다.

이 벤치마크는 만드는 과정에서 Inscribe 자신의 버그도 하나 찾아냈습니다. 파일을 불러올 때 SpeechAnalyzer에 오디오를 넘긴 뒤 입력 스트림을 닫기만 하고 최종 처리를 마무리하는 함수를 호출하지 않아, 가져오기가 영원히 멈춰버리는 문제였습니다. 자동 설정이 Whisper를 우선했던 탓에 그동안 발견되지 않았던 버그였고, 수정은 같은 날 배포됐습니다.

물론 한계도 있습니다. 이 결과는 영어로 읽은 오디오북 음성에 국한된 것으로, Whisper가 지원하는 100개 넘는 다른 언어나 억양이 강하거나 여러 화자가 겹치는 회의 음성에 대해서는 아무것도 말해주지 않습니다. 측정도 M2 Pro 한 대에서만 이뤄졌습니다.