语音识别准确率怎么看？

更新于 2026-11-07 · 返回博客

错误率是怎么算的

语音识别最常用的指标是词错误率（Word Error Rate，简称 WER）。做法是准备一份人工核对过的标准答案，把识别结果和它逐词对比，统计三类差异：多出来的词（插入）、漏掉的词（删除）、写错的词（替换），相加后除以标准答案的总词数。微软语音服务的文档给出的公式就是这样：

这种比较本质上是在算两段文字的莱文斯坦距离，也就是最少改几处才能把一段变成另一段。公式本身没有争议，争议都在公式之外。

中文没有空格分词，一般按字算，叫字错误率（CER）。比如标准答案是“明天下午开会”，识别成“明天上午开会了”，错了一个字、多了一个字，错误率是 2 ÷ 6 = 33.3%。中英混说时，研究里常用混合错误率（MER），中文按字、英文按词一起算。

宣传里的“准确率 98%”大致对应 2% 的错误率，但两者并不是简单的正反面。多出来的内容也算错误，所以错误率可以超过 100%：2024 年的一项研究里，一个模型在马拉雅拉姆语上的错误率达到了 287.4%。

那多少算好？微软文档给的经验值是：5%–10% 算质量好，20% 可以接受但可能要继续训练，30% 以上质量差。这是它对自家定制模型的建议，不是行业统一标准。同一个系统换一批测试内容，就可能从一档跳到另一档。下面的实验会说明这一点。

我们做了一个小实验

为了看清这些因素到底有多大影响，我们在 2026 年 11 月 7 日做了一次测试：

• 内容：60 句工作中常见的话，分三组，每组 20 句：纯中文、含数字、中英混说。全部句子可以在文末展开查看。
• 声音：用 macOS 自带的两种中文语音朗读。声音一是 Tingting，发音清晰；声音二是 Flo，中文尚可，英文词读得很不标准。
• 噪声：给声音一再做一个加噪版本，叠加信噪比 10 dB 的粉红噪声，模拟嘈杂环境。
• 识别：三个版本共 180 段音频，全部送进听笔线上使用的语音识别，没有开个人词典，也没有经过 AI 整理。

需要说明的是，这个实验只测了我们自己，句子也是我们写的，所以不能用来和别家比高低。它只回答一个问题：同一套系统，换条件之后，数字能差多少。

结果一：同一份文字，错误率差近 20 倍

先看声音一在安静环境下的结果。下面四行用的是完全相同的一份识别结果，只是算分前的处理方式不同：

全部 60 句的错误率，按字计算，总计 889 字（统一后口径）。

最大的差别来自数字。标准答案写“会议改到下午3点半开始”，识别结果是“会议改到下午三点半开始”。这两句读出来一模一样，逐字比较却算错。含数字这一组 20 句其实一个字都没听错，只因为写法不同，错误率显示为 34.7%。去掉标点后这一格反而升到 37.9%，是因为原本答对的标点被拿掉，分母变小了。

中英混说这组的差别来自空格。识别结果写成“这周 schedule 一下”，词之间带空格，标准答案不带，每个空格都算一处错误。去掉之后，错误率从 19.5% 降到 3.1%。

所以 17.8% 和 0.9% 都是这份结果的错误率，谁也没有造假。区别只在于算分的人认为“三点半”和“3点半”算不算同一个答案。而对写东西的人来说，这个差别又确实存在：GB/T 15835-2011《出版物上数字用法》对什么时候用汉字、什么时候用阿拉伯数字有明确规定，稿子里写错了还要改。这也是微软在错误率之外，另设令牌错误率（TER）的原因：把标点、大小写和数字格式也算进去，专门衡量最终显示出来的文字。

结果二：换个算法，好坏能反过来

算分方式不只是让数字变大变小，有时连谁好谁差都会变。看中英混说组的两个版本：

按字符算，安静环境明显更好，这符合常识。换成研究里常用的中文按字、英文按词，加噪声的版本反而“更好”。原因是安静那次识别把缩写写成了带空格的“A P I”“C P U”“S D K”，每个字母都被当成一个词，而加噪声那次恰好写成了连在一起的 “API”“CPU”“SDK”。

声音更差，分数却更高。这不是说噪声有好处，而是提醒我们：只看一个数字，可能连方向都判断错。比较两个结果之前，要先确认算分方式完全相同。

结果三：换个声音，差别更大

下面统一用同一种算分方式（去标点、忽略大小写、统一数字），只换声音和环境：

有两点值得注意。第一，噪声对纯中文和数字几乎没有影响，受影响的主要是英文词：“Figma”被听成 “BigMan”，“GitHub”被听成 “Jetpack”。第二，声音二的错误率是声音一的 25 倍。这不完全是识别的问题，声音二读英文词本身就不准，“这周schedule一下standup”被识别成“这周深度了一下深度”，人听了也未必能听出原词。

真人之间同样有这样的差距。2020 年发表在 PNAS 上的一项研究测试了亚马逊、苹果、谷歌、IBM 和微软五家的语音识别，同样是访谈录音，不同人群的平均错误率分别是 0.35 和 0.19。说话的人变了，同一批系统的成绩就差了将近一倍。

研究界也在讨论这个问题

上面的现象不是我们的实验特有的，几篇被广泛引用的论文都提到过：

• 算分前的处理影响很大。OpenAI 在 Whisper 的论文里写到，错误率会惩罚所有差异，包括无害的格式差异。他们为此专门做了一套文本规范化，在部分数据集上让错误率最多下降了 50%，同时也提醒这套规则有过度贴合自家模型的风险。
• 规范化对不同语言的影响也不一样。2024 年的一项研究发现，同一套规范化让英语模型的错误率下降 4.5 个百分点，让马拉雅拉姆语模型下降 34.1 个百分点，部分降幅来自规范化把文字拆散了，而不是识别更准了。
• 公开测试集的成绩偏乐观。2020 年的论文 “WER we are and WER we think we are” 指出，当时论文报告的电话对话错误率最好在 5%–9%，他们测试的三个商用系统接近翻倍；换成真实客服电话，五个行业的错误率在 13.7% 到 23.3% 之间。

看到“准确率 98%”，先问五件事

1. 测的是什么内容？新闻朗读、有声书和你平时说的工作消息，难度差很多。
2. 谁说的？播音腔、普通话标准的人和带口音的人，结果不同。
3. 在什么环境下录的？近距离麦克风和开放办公室差别不小，我们的测试里，噪声主要影响英文词。
4. 算分前做了哪些处理？标点、大小写、数字写法算不算错，决定了数字是 1% 还是 18%。
5. 算的是哪一层？是语音识别的原始输出，还是 AI 整理之后的成稿。两者不是一回事，详见 AI 语音输入和传统听写的区别。

如果这些信息都没写，这个百分比就只能算一个宣传数字，没法拿来比较。

15 分钟，测出对你有用的数字

与其比较别人的百分比，不如自己测。方法不需要任何工具：

1. 挑 20 句你最近真实发过的消息或邮件，一定要包含人名、数字和你常用的英文词。
2. 用平时的语速、在平时工作的地方说出来，不要刻意放慢。
3. 不算错误率，只数要改几处才能直接发出去，把这个数除以总字数。
4. 把要改的地方分类：听错的词、英文大小写、数字写法、标点。这样能看出问题在哪一层。
5. 用同样的句子测每个候选工具，结果才能比较。

分类之后，往往能找到比换工具更简单的办法。如果错的主要是公司名和产品名，加进个人词典就能解决；如果错的主要是英文词，可以看中英混说的实测；如果要改的主要是标点和口头禅，看的是智能整理做得好不好。

这组实验的局限

• 用的是系统合成语音，比真人说话干净，声音一的 0.9% 不代表真实使用时的错误率。
• 样本只有 60 句、889 字，错几个字就会让结果变动零点几个百分点。
• 只测了听笔这一套系统，测的是语音识别的原始输出，不包含 AI 整理。
• 统一数字写法的规则是我们自己写的，换一套规则，结果也会有差别。这本身就是这篇文章想说的事。

常见问题

参考资料

1. Microsoft Learn. 测试自定义语音模型的准确性（含 WER 的定义、经验区间和 TER 说明）。 查看原文
2. Radford A, et al. Robust Speech Recognition via Large-Scale Weak Supervision. arXiv:2212.04356, 2022. 查看原文
3. Szymański P, et al. WER we are and WER we think we are. Findings of EMNLP 2020. 查看原文
4. Koenecke A, et al. Racial disparities in automated speech recognition. PNAS, 2020, 117(14): 7684–7689. 查看原文
5. Manohar K, Pillai L G, Sherly E. What is lost in Normalization? Exploring Pitfalls in Multilingual ASR Model Evaluations. arXiv:2409.02449, 2024. 查看原文
6. Lovenia H, et al. ASCEND: A Spontaneous Chinese-English Dataset for Code-switching in Multi-turn Conversation. LREC 2022. 查看原文
7. 国家标准全文公开系统. GB/T 15835-2011 出版物上数字用法。 查看原文
8. 维基百科. 莱文斯坦距离（概念补充，部分网络环境可能打不开）。 查看原文
9. Wikipedia. Word error rate（概念补充，部分网络环境可能打不开）。 查看原文

相关页面

• 中英混说语音识别 为什么容易错
• AI 语音输入和传统听写有什么区别
• 个人词典
• 智能整理
• 什么时候不该用语音输入
• 语音输入安全吗