LSTM神经网络图解
LSTM神經網絡圖詳解
（1）遺忘門，用于計算信息的遺忘（保留）程度，通過sigmoid處理后為0到1的值，1表示全部保留，0表示全部忘記。ft=σ(Wf?[ht?1,xt]+bf)f_{t}=\sigma \left ( W_{f}\cdot \left [ h_{t-1},x_{t} \right ] +b_{f}\right )ft?=σ(Wf??[ht?1?,xt?]+bf?)
(2)輸入門，輸入門用來計算哪些信息保存到狀態單元中,包括兩部分信息，一部分是
it=σ(Wi?[ht?1,xt]+bi)i_{t}=\sigma \left ( W_{i}\cdot \left [ h_{t-1},x_{t} \right ] +b_{i}\right )it?=σ(Wi??[ht?1?,xt?]+bi?)
該部分可以看成當前輸入有多少信息需要保存到單元狀態。另一部分是
ct~=tanh?(Wc?[ht?1,xt]+bc)\tilde{c_{t}}=\tanh \left ( W_{c}\cdot \left [ h_{t-1},x_{t} \right ] +b_{c}\right )ct?~?=tanh(Wc??[ht?1?,xt?]+bc?)
該部分用來把當前輸入產生的新信息添加到單元狀態中。這兩部分產生新的記憶狀態。
由此，當前時刻的單元狀態由遺忘門輸入和上一時刻狀態的積加上輸入門兩部分的積，即
ct=ft?ct?1+it?c~t{c_{t}}= f_{t}\cdot c_{t-1}+ i_{t}\cdot \tilde c_{t}ct?=ft??ct?1?+it??c~t?
（3）輸出門，用于計算當前時刻信息被輸出的程度。
ot=σ(Wo?[ht?1,xt]+bo)o_{t}=\sigma \left ( W_{o}\cdot \left [ h_{t-1},x_{t} \right ] +b_{o}\right )ot?=σ(Wo??[ht?1?,xt?]+bo?)
ht=ot?tanh(ct)h_{t}= o_{t}\cdot tanh(c_{t})ht?=ot??tanh(ct?)
整個LSTM神經網絡就是如此，下面是李宏毅老師ppt上的，可以進一步了解整個流程。PPT鏈接循環神經網絡
對于門（Gate）的理解，這里有很形象的解釋深度學習計算模型中“門函數（Gating Function）”的作用
總結
以上是生活随笔為你收集整理的LSTM神经网络图解的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 九度-题目1103 二次方程计算器
- 下一篇： 12 | 排序（下）：如何用快排思想在O