1:BPTT: 其實(shí)就是BP算法正常的鏈?zhǔn)酵茖?dǎo)展開(kāi)，只是因?yàn)樗婕暗搅酥皶r(shí)刻的ht輸出，所以將時(shí)間信息給帶進(jìn)去了；而這也是為什么說(shuō)RNN不能很好的保存長(zhǎng)期記憶的原因，因?yàn)槠珜?dǎo)的連乘，長(zhǎng)期的記憶被不斷的縮小，很容易出現(xiàn)梯度消失，也就是把長(zhǎng)期記憶丟失了

?2:LSTM的細(xì)胞狀態(tài)和隱藏狀態(tài)

參考：(41 封私信 / 13 條消息) 如何理解 LSTM 中的 cell state 和 hidden state? - 知乎 (zhihu.com)

快速理解LSTM，從懵逼到裝逼 - 知乎 (zhihu.com)

我的理解是認(rèn)為，細(xì)胞狀態(tài)是包含了全部的長(zhǎng)短期信息的，而hidden state則是從細(xì)胞狀態(tài)里面抽取的與當(dāng)前輸入最相關(guān)的信息（因?yàn)樽钕嚓P(guān)不一定就是短期信息，所以hidden state也可以是長(zhǎng)期信息）；綜上，細(xì)胞狀態(tài)是包含整體的長(zhǎng)短期信息，而隱藏狀態(tài)則是包含的與當(dāng)前輸入最相關(guān)的信息

?

3;GRU

首先，ht-1 融合x(chóng)t之后，分別生成重置門(mén)rt和更新門(mén)zt，rt決定ht-1中有多少信息需要遺忘，也可以說(shuō)是從ht-1中選擇與當(dāng)前輸入更相關(guān)的信息來(lái)與輸入進(jìn)行融合（所以此時(shí)融合的信息可以理解為和當(dāng)前輸入聯(lián)系最緊密的信息，既有短期信息也有長(zhǎng)期信息）；zt則是更新門(mén)，他決定上一步融合的信息有多少會(huì)加入到ht中去。而因?yàn)橹叭诤系男畔⑹桥c當(dāng)前信息最相關(guān)的，所以我們還應(yīng)該加上與當(dāng)前信息不那么相關(guān)的信息，來(lái)保證ht信息的完整性（這就是1-zt，再乘上ht-1的原因）。

?

?

總結(jié)

以上是生活随笔為你收集整理的BPTT算法 / LSTM的细胞状态和隐藏状态 / GRU的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。