1.LSTM(長(zhǎng)短期記憶)原理，其中的參數(shù)是否相同/畫出LSTM的結(jié)構(gòu)

圖/寫一下LSTM的公式
Lstm由輸入門,遺忘門,輸出門和一個(gè)cell組成。第一步是決定從cell狀態(tài)中丟棄什么信息,然后在決定有多少新的信息進(jìn)入到cell狀態(tài)中,最終基于目前的cell狀態(tài)決定輸出什么樣的信息。
LSTM一共有三個(gè)門，輸入門，遺忘門，輸出門，i,f,o分別為三個(gè)門的程度參數(shù)，g是對(duì)輸入的常規(guī)RNN操作。公式里可以看到LSTM的輸出有兩個(gè)，細(xì)胞狀態(tài)c‘ 和隱狀態(tài)h’，c’是經(jīng)輸入、遺忘門的產(chǎn)物，也就是當(dāng)前cell本身的內(nèi)容，經(jīng)過輸出門得到h’，就是想輸出什么內(nèi)容給下一單元。

LSTM中有哪些激活函數(shù)

LSTM中的三個(gè)門是用的sigmoid作為激活函數(shù)，生成候選記憶時(shí)候用的才是tanh，門j的激活函數(shù)如果用relu的話會(huì)有個(gè)問題，就是relu是沒有飽和區(qū)域的，那么就沒法起到門的作用。候選記憶用tanh是因?yàn)閠anh的輸出在-1~1，是0中心的，并且在0附近的梯度大，模型收斂快。

LSTM這兩個(gè)激活函數(shù)的作用分別是什么 sigmoid將一個(gè)實(shí)數(shù)輸入映射到[0,1]范圍內(nèi),tanh函數(shù)將一個(gè)實(shí)數(shù)輸入映射到[-1,1]范圍內(nèi);

LSTM每個(gè)門的計(jì)算公式

總結(jié)

以上是生活随笔為你收集整理的人工智能超强面经：文本检测与GAN篇（含答案）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。