Recurrent Neural Networks

RNN可以看做是同一神經(jīng)網(wǎng)絡(luò)的多次復(fù)制，每個(gè)神經(jīng)網(wǎng)絡(luò)模塊會(huì)把消息傳遞給下一個(gè)。

LSTM是一種特別的RNN。

長(zhǎng)期依賴問題（Long-Term Dependencies）

相關(guān)的信息和預(yù)測(cè)的詞位置之間的間隔非常小時(shí)，RNN可以學(xué)會(huì)使用先前的信息；
當(dāng)間隔不斷增大時(shí)，RNN會(huì)喪失學(xué)習(xí)到連接如此遠(yuǎn)的信息的能力。

LSTM 網(wǎng)絡(luò)

Long Short Term 網(wǎng)絡(luò) 可以學(xué)習(xí)長(zhǎng)期依賴信息。
所有RNN都具有一種重復(fù)神經(jīng)網(wǎng)絡(luò)模塊的鏈?zhǔn)降男问?#xff0c;在標(biāo)準(zhǔn)的RNN中，這個(gè)重復(fù)的模塊只有一個(gè)非常簡(jiǎn)單的結(jié)構(gòu)，例如一個(gè)tanh層。

LSTM中的重復(fù)模塊包含四個(gè)交互的層。

LSTM的核心思想

LSTM的關(guān)鍵是細(xì)胞狀態(tài)，水平線在圖上方貫穿運(yùn)行。

門：讓信息選擇式通過(guò)

包含一個(gè)sigmoid神經(jīng)網(wǎng)絡(luò)層和一個(gè)pointwise乘法操作。

Sigmoid層輸出0到1之間的數(shù)值，描述每個(gè)部分有多少量可以通過(guò)。
LSTM有3個(gè)門，來(lái)保護(hù)和控制細(xì)胞狀態(tài)。

第一步：決定從細(xì)胞狀態(tài)中丟棄什么信息

通過(guò)忘記門層完成，該門會(huì)讀取 $h_{t?1}$ 和 $x_t$ ，輸出一個(gè)在0到1之間的數(shù)值給每個(gè)在細(xì)胞狀態(tài) $C_{t?1}$ 中的數(shù)字。 （1表示“完全保留”，0表示“完全舍棄”）

• 舉個(gè)例子：在語(yǔ)言模型中，細(xì)胞狀態(tài)可能包含當(dāng)前主語(yǔ)的性別，因此正確的代詞可以被選擇出來(lái)，而當(dāng)遇到新的主語(yǔ)，我們希望它可以忘記舊的主語(yǔ)。
  

第二步：決定什么樣的新信息被存放在細(xì)胞狀態(tài)中

包含兩個(gè)部分：

• 輸入門層（sigmoid層）決定什么值將要更新
• tanh層創(chuàng)建一個(gè)新的候選值向量 ${\tilde{C}}_t$，會(huì)被加到狀態(tài)中
  在語(yǔ)言模型的例子中：
• 我們需要增加新的主語(yǔ)的性別到細(xì)胞狀態(tài)中，來(lái)替代舊的需要忘記的主語(yǔ)。
  

第三步：確定輸出什么值

• 首先運(yùn)行一個(gè)sigmoid層來(lái)確定細(xì)胞狀態(tài)的哪個(gè)部分將輸出出去
• 接著把細(xì)胞狀態(tài)通過(guò)tanh進(jìn)行處理（得到-1到1之間的值）
• 然后兩者相乘
  

雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（BRNN)

BRNN有兩個(gè)RNN上下疊加在一起組成。

對(duì)每個(gè)時(shí)刻t，輸入會(huì)同時(shí)提供給兩個(gè)方向相反的RNN，輸出由這兩個(gè)單向RNN共同決定。

BiLSTM

前向的LSTM與后向的LSTM結(jié)合成BiLSTM。

參考資料：

https://zhuanlan.zhihu.com/p/40119926

https://zhuanlan.zhihu.com/p/47802053

https://blog.csdn.net/SunJW_2017/article/details/82837072

總結(jié)

以上是生活随笔為你收集整理的【神经网络】LSTM理论介绍的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。