傳統(tǒng)神經(jīng)網(wǎng)絡(luò)與遞歸神經(jīng)網(wǎng)絡(luò)對(duì)比

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)

遞歸神經(jīng)網(wǎng)絡(luò)

等價(jià)于

RNN網(wǎng)絡(luò)細(xì)節(jié)

x_t表示第t=1,2,3…step的input
s_t為隱藏層的第t step的state，它是網(wǎng)絡(luò)的記憶單元
s_t=f(Ux_t+Ws_t-1)，其中f一般是非線性的激活函數(shù)
o_t是第t step的output，如下個(gè)單詞的向量表示softmax(Vs_t)

RNN的反向傳播

RNN升級(jí)LSTM

C：控制參數(shù)

決定什么樣的信息會(huì)被保留，什么樣的會(huì)被遺忘。
要通過訓(xùn)練得到。

門是一種信息選擇式通過的方法
sigmoid神經(jīng)網(wǎng)絡(luò)層和一乘法操作

Sigmoid層輸入0~1之間的數(shù)值，描述每個(gè)部分有多少量可以通過。
0代表“不允許任何量通過”，1代表“允許任意量通過”。

決定丟棄信息

確定更新的信息

更新細(xì)胞狀態(tài)

輸出信息

利用新的控制參數(shù)產(chǎn)生output

LSTM網(wǎng)絡(luò)架構(gòu)

與50位技術(shù)專家面對(duì)面20年技術(shù)見證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的机器人写诗项目——递归神经网络（RNN）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。