最近實驗中需要用到LSTM，記錄下我對LSTM的理解。

什么是LSTM？

首先介紹一下標(biāo)準的RNN，它擁有記憶能力，適合處理序列型的數(shù)據(jù)，比如語音識別，但它有有以下缺點：

• 只能記住非常短的序列
• 難以訓(xùn)練，收斂困難

RNN的結(jié)構(gòu)

LSTM全名“長短期記憶神經(jīng)網(wǎng)絡(luò)”，正好解決了RNN的缺點。LSTM會選擇性忘記不重要的信息，因此它能記住更長的序列，且它更容易訓(xùn)練

LSTM的結(jié)構(gòu)

LSTM的關(guān)鍵是單元（門）的狀態(tài)，即貫穿圖頂部的水平線。門由sigmoid層、tanh層和乘法運算組成

LSTM原理

LSTM的第一步?jīng)Q定要從單元狀態(tài)丟棄什么信息，這個決定由“遺忘門”做出，輸出值介于0和1，0表示完全忘記，1表示完全記住

遺忘門

第二步?jīng)Q定要在單元狀態(tài)中存儲什么新信息。它有兩部分：首先，“輸入門”的sigmoid決定更新哪些值，接下來，tanh創(chuàng)建新的候選向量，在下一個步驟中，把兩者結(jié)合起來對狀態(tài)更新

輸入門

這一步對狀態(tài)進行更新

最后需要計算輸出什么

LSTM的應(yīng)用

• one to many：輸入不是序列，輸出是序列，比如看圖寫詩
• many to one：輸入是序列，輸出不是序列，比如視頻分類、步態(tài)識別
• many to many：輸入是序列，輸出也是序列，比如語音識別、機器翻譯

references

Understanding LSTM Networks?colah.github.io「公開課干貨分享」LSTM長短期記憶神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)與實現(xiàn)?www.bilibili.com

總結(jié)

以上是生活随笔為你收集整理的lstm不收敛_LSTM学习笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。