??????? 為了保持文章系列的連貫性，參考這個(gè)文章：

??????? 此前的文章： DNN結(jié)構(gòu)演進(jìn)History—LSTM_NN? ，這個(gè)文章的分析更加全面清晰：Understanding LSTM NetWork 分析了各種LSTM網(wǎng)絡(luò)，LSTM小品文 ：谷歌語(yǔ)音轉(zhuǎn)錄背后的神經(jīng)網(wǎng)絡(luò)。

摘要：

??????? LSTM使用一個(gè)控制門控制參數(shù)是否進(jìn)行梯度計(jì)算，以此避免梯度消失或者爆炸。

LSTM的優(yōu)勢(shì)與不足?

LSTM的不足

• LSTM的高效截?cái)喟姹静⒉荒芎茌p松的解決“強(qiáng)延遲異或”類的問(wèn)題。

• LSTM的每個(gè)存儲(chǔ)單元塊需要一個(gè)輸入門和一個(gè)輸出門，而這在其他的循環(huán)方法中并不是必需的。

• 常數(shù)誤差流通過(guò)存儲(chǔ)單元內(nèi)部的“Constant Error Carrousels”，能夠跟傳統(tǒng)的前饋架構(gòu)一樣，產(chǎn)生與整個(gè)輸入串相同的效果。

• LSTM與其他前饋方法一樣，在“regency”的概念上有缺陷。 如果需要精密時(shí)間步長(zhǎng)計(jì)數(shù)，可能還需要額外的計(jì)數(shù)機(jī)制。

LSTM的優(yōu)勢(shì)

• 內(nèi)存單元中反向傳播的常數(shù)誤差，賦予該架構(gòu)橋接長(zhǎng)時(shí)滯的算法的能力。

• LSTM可近似于噪聲問(wèn)題域、分布式表示和連續(xù)值。

• LSTM概述了要考慮的問(wèn)題域。這一點(diǎn)很重要，因?yàn)橐恍┤蝿?wù)對(duì)于已經(jīng)建立的循環(huán)網(wǎng)絡(luò)來(lái)說(shuō)很棘手。

• 在問(wèn)題域上不需要微調(diào)網(wǎng)絡(luò)參數(shù)。

• 在每個(gè)權(quán)重和時(shí)間步長(zhǎng)更新的復(fù)雜性方面，LSTM基本上等同于BPTT。

• LSTM在機(jī)器翻譯等領(lǐng)域取得了當(dāng)前最先進(jìn)的結(jié)果，顯示出強(qiáng)大的能力。

參考：LSTM、GRU與NTM這些最先進(jìn)的循環(huán)神經(jīng)網(wǎng)絡(luò)，是如何進(jìn)行深度學(xué)習(xí)任務(wù)的

總結(jié)

以上是生活随笔為你收集整理的ANN：DNN结构演进History—LSTM网络的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。