Real World VoiceEQ는 Hume AI가 공개한 음성 AI 평가 벤치마크다. 기존 음성 평가가 단어 오류율(WER), 지연 시간, 음질 점수에 치우친 한계를 보완해, 실제 대화에서 사람이 느끼는 자연스러움·감정 이해·화자 일관성·배경 소음 대응까지 측정한다.
평가 범위
| 항목 | 내용 |
|---|---|
| 모델 범위 | 40개 이상 proprietary·오픈소스 음성 모델 |
| 평가 차원 | 15개 이상 |
| 세부 지표 | 60개 이상 |
| 분야 | ASR, TTS, Speech-to-Speech, Speech Understanding |
| 데이터 | 100만 건 이상 인간 평가, TTS 78.5만 건, STS 4.8만 건 포함 |
VoiceEQ의 핵심은 transcript에 남지 않는 acoustic information을 평가한다는 점이다. 같은 “yes”라도 확신 있는 대답과 주저하는 대답은 다르다. 금융, 의료, 고객 지원 음성 에이전트에서는 이런 차이가 실제 의사결정에 영향을 준다.
주요 발견
단일 최고 모델은 없다
음성 모델은 점점 전문화되고 있다. 어떤 모델은 숫자·약품명·예약번호를 정확히 반복하는 데 강하지만 감정 표현은 약할 수 있고, 어떤 모델은 자연스럽게 들리지만 정밀한 정보 전달이 약할 수 있다. 따라서 하나의 평균 점수보다 작업별 능력 분해가 중요하다.
말하기보다 듣기가 더 어렵다
Speech-to-Speech 모델은 음성 입력을 받더라도 실제로 tone, pacing, hesitation, emphasis, volume을 충분히 쓰지 못하는 경우가 많다. transcript만 보고 답하는 모델처럼 행동하면 감정, 불확실성, 풍자, 공감 신호를 놓친다.
전통 벤치마크는 과대평가할 수 있다
기존 공개 벤치마크가 포화되면서 실제 대화 조건의 실패가 가려진다. 악센트, 겹치는 화자, 긴 대화, 감정 표현, 배경 소음에 따라 성능 차이가 커지고, 단일 WER 점수는 이를 숨길 수 있다.
사용 대상
- 콜센터·상담·의료·금융 음성 에이전트를 운영하는 팀
- TTS 모델을 브랜드 음성, 감정 표현, 캐릭터 일관성 기준으로 평가하려는 제품 팀
- ASR 점수만으로는 production 품질을 설명하기 어려운 음성 AI 개발자
- ai-agent-evaluation을 음성 인터페이스까지 확장하려는 연구자
관련 문서
- aa-wer-streaming — 스트리밍 STT 모델 정확도·속도 벤치마크
- gemini-3-1-flash-tts — 프롬프트로 음색·감정·억양을 조절하는 TTS 모델
- ai-agent-evaluation — 에이전트 평가 하네스 설계
참고 자료
- Introducing Real World VoiceEQ: Measuring the human quality of voice AI — Hugging Face Blog / Hume AI (2026-07)