（Unfinished）尚未完成

一、說明

• 關(guān)于LSTM的cell結(jié)構(gòu)和一些計算在之前已經(jīng)介紹了，可以點擊這里查看
• 本篇博客主要涉及一下內(nèi)容：
  • LSTM前向計算說明(之前的博客中LSTM部分實際已經(jīng)提到過，這里結(jié)合圖更詳細說明)

二、LSTM前向計算step by step

1、結(jié)構(gòu)review

• 我們知道RNN的結(jié)構(gòu)如下圖
  • 注意cell中的神經(jīng)元可以有多個
    
• LSTM就是對cell結(jié)構(gòu)的改進
  
• 符號說明
  
• LSTM的關(guān)鍵就是state,就是對應(yīng)上面的主線數(shù)據(jù)的傳遞
  

2、前向計算step by step

(1) 決定拋棄的信息

• 遺忘門 (forget gate layer)
• σ是Sigmoid激勵函數(shù)，因為它的值域是(0,1)，0代表遺忘所有信息，1代表保留所有信息

(2) 決定存儲的新信息

• 包括兩個部分
  • 第一個是輸入門 (input gate layer)，對應(yīng)的是Sigmoid函數(shù)
  • 第二個是經(jīng)過tanh激勵函數(shù)

(3) 更新stateCt?1成Ct

• ft是經(jīng)過Sigmoid函數(shù)的，所以值域在(0,1)之間，Ct?1點乘0-1之間的數(shù)實際就是對Ct?1的一種縮放，（可以認為是記住之前信息的程度）
• 然后加入進來的新的信息
  

(4) 最后計算輸出

• 輸出門(output gate layer)

• 最后再放一下之前的圖, 數(shù)據(jù)流向可能更清晰

三、GRU (Gated Recurrent Unit)

1、結(jié)構(gòu)和前向計算

• 如下圖所示
  • 相比LSTM，GRU結(jié)合了遺忘門和輸入門
  • 同樣也合并了cell state和hidden state?（就是LSTM中的c和h）
  • GRU比LSTM更加簡單

Reference

• https://colah.github.io/posts/2015-08-Understanding-LSTMs/
• https://r2rt.com/written-memories-understanding-deriving-and-extending-the-lstm.html#dealing-with-vanishing-and-exploding-gradients
• http://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf

• http://lawlite.me/2016/12/20/%E8%AE%BA%E6%96%87%E8%AE%B0%E5%BD%95-UnderstandingTheDifficultyOfTrainingDeepFeedforwardNeuralNetworks/

原文地址：?http://lawlite.me/2017/06/21/RNN-%E5%BE%AA%E7%8E%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E4%B9%8BLSTM%E5%92%8CGRU-04%E4%BB%8B%E7%BB%8D%E5%8F%8A%E6%8E%A8%E5%AF%BC/

總結(jié)

以上是生活随笔為你收集整理的（Unfinished）RNN-循环神经网络之LSTM和GRU-04介绍及推导的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。