语音识别学习总结
學習總結
經過一學期的學習,對語音識別這個方向有了一個簡單的認識,現在做一下總結。
語音識別過程
1. 傳統語音識別
首先通過麥克風接收聲音,因為聲音是一種波,通過振動傳播,聲波會引起麥克風振元的振動,產生大小不同的振幅,也就會產生了不同的電流值,這樣就將模擬信號轉化為數字信號,一種時域的一維序列信號,在坐標軸中畫出來就是波形圖,然后計算機再對這個波形圖進行處理,從中過濾掉沒用的信息,提取有用的信息,并產生文字序列。人耳的聽覺機理是通過聲音的頻域來分辨聲音的,發音差不多時產生的波形圖可能也會有很大的差別,所以從波形圖中很難找到發音規律,需要的波形圖進行進一步的處理,通過傅里葉變換把時域的波形圖轉換為頻域的波形,然后再對頻域的特征進行處理,從中學習規律。因為聲音是短時平穩信號,所以在處理時,把聲音分成一小段一小段來處理,即一幀,可以認為聲音在這一小段中時狀態是不變的。然后把這些幀識別成對應的狀態,然后若干個狀態組合成一個音素,再把音素組合成單詞的發音,例如在漢語語音識別中,音素對應的就是一個字的聲母和韻母,再用單詞的發音預測對應的文本,把識別出來的文本拼接成一個句子,就完成了一句話的語音識別。
完成傳統語音識別過程,需要兩個獨立的模型:
1.聲學模型,使用HMM-GMM模型,將幀識別成對應的狀態,根據狀態轉換機在狀態之間跳轉,用三個狀態(或者更多)代表一個音素,幀在狀態之間轉移的路徑得到最終的音素序列,。
2.語言學模型,使用N-gram模型,根據音素預測對應的文本。
這兩個模型是獨立訓練的,訓練的過程比較復雜,增加了語音識別的入門難度。
2. 端到端語音識別
近年來,得益于神經網絡的發展和軟硬件技術的提升,擁有了大量的語音語料庫,產生了端到端系統。為了簡化網絡,在一個模型中直接將語音轉換成文字,所以將這種系統稱為端到端系統。端到端語音識別總的思想,是用一個統一優化的模型來實現語音識別,簡化語音識別的訓練過程,模型的輸入是語音,輸出是對應的文本,這里的文本可以是字母、子詞或者單詞。端到端語音識別的主要原理包括使用CTC、RNN、Attention等。
總結
- 上一篇: Verilog——格雷码和二进制码转换的
- 下一篇: 【R】语言第三课----矩阵