语音识别(ASR)评估指标-WER(字错误率)和SER(句错误率)
前言
實(shí)際工作中,一般識(shí)別率的直接指標(biāo)是“WER(詞錯(cuò)誤率,Word Error Rate)”
定義
WER 字錯(cuò)誤率句錯(cuò)誤率
為了使識(shí)別出來的詞序列和標(biāo)準(zhǔn)的詞序列之間保持一致,需要進(jìn)行替換、刪除或者插入某些詞,這些插入、替換或刪除的詞的總個(gè)數(shù),除以標(biāo)準(zhǔn)的詞序列中詞的總個(gè)數(shù)的百分比,即為WER。
公式為:
Substitution——替換
Deletion——?jiǎng)h除
Insertion——插入
N——單詞數(shù)目
SER
SER,SER表述為句子中如果有一個(gè)詞識(shí)別錯(cuò)誤,那么這個(gè)句子被認(rèn)為識(shí)別錯(cuò)誤,句子識(shí)別錯(cuò)誤的的個(gè)數(shù),除以總的句子個(gè)數(shù)即為SER
其計(jì)算公式如下所示:
注意事項(xiàng)
WER可以分男女、快慢、口音、數(shù)字/英文/中文等情況,分別來看。
因?yàn)橛胁迦朐~,所以理論上WER有可能大于100%,但實(shí)際中、特別是大樣本量的時(shí)候,是不可能的,否則就太差了,不可能被商用。
站在純產(chǎn)品體驗(yàn)角度,很多人會(huì)以為識(shí)別率應(yīng)該等于“句子識(shí)別正確的個(gè)數(shù)/總的句子個(gè)數(shù)”,即“識(shí)別(正確)率等于96%”這種,實(shí)際工作中,這個(gè)應(yīng)該指向“SER(句錯(cuò)誤率,Sentence Error Rate)”,即“句子識(shí)別錯(cuò)誤的個(gè)數(shù)/總的句子個(gè)數(shù)”。不過據(jù)說在實(shí)際工作中,一般句錯(cuò)誤率是字錯(cuò)誤率的2~3倍,所以可能就不怎么看了。
參考文檔
AI產(chǎn)品經(jīng)理需要了解的語音交互評(píng)價(jià)指標(biāo)
語音識(shí)別評(píng)估標(biāo)準(zhǔn)-WER
總結(jié)
以上是生活随笔為你收集整理的语音识别(ASR)评估指标-WER(字错误率)和SER(句错误率)的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: linux中去掉^M的方法
- 下一篇: 2018 Google kickstar