1. LSTM簡介

• x 輸入順序不同，得到的結果不同
• 核心：memory
  
  
  
  
  
  
  
  
  
  

2. LSTM training

3. LSTM和RNN的比較（為什么說LSTM可以解決RNN中的梯度消失問題？）

RNN在每個時間點計算產生的輸出會直接把memory覆蓋掉

而LSTM每個時間點產生的輸出會對原來的memory進行累加

如果weight可以影響到memory中的值，則這個影響則一定會存在，因為這個影響是累加的（除非forget gate被使用），但如果在RNN中，每個時間點的memory會被清洗掉，因此會造成沒有影響的問題，即梯度消失

數學解釋：RNN梯度爆炸原因和LSTM解決梯度消失解釋

Gated Recurrent Unit(GRU)

GRU一共兩個Gate，比LSTM少一個，原理是將LSTM中的input gate和forget gate聯動起來，如果memory中有未被清洗掉的值，則不會input新的進來，只有當被清洗掉，input gate才會被打開

解決gradient vanish 問題的其他方法：

總結

以上是生活随笔為你收集整理的【学习笔记】LSTM 李弘毅的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。