下圖是我看過對LSTM物理結構描述最清楚的圖，參考自LSTM神經網絡輸入輸出究竟是怎樣的？

答主在圖中對三種架構有簡要的說明，這里根據自己的理解，再對它做進一步的解釋。

圖中的第一部分是LSTM的時序結構版本，它是單個LSTM Cell在多個時間步上展開的形式，實際上是只有一個Cell，因此也可以理解為LSTM是神經網絡在時序上的權重共享（CNN是在空間上的權重共享）。嗯，單個LSTM/RNN是下面這樣的。

圖中的第二部分是LSTM單個Cell的邏輯結構版本，每一個 $sigma$ 對應一個 門，從左到右依次為遺忘門，輸入門和輸出門，時序的傳遞是在上下兩條線中，上面的線對應較長的短時記憶「long short-term memory」，也即隱狀態，下面的線對應短時記憶「short-term memory」，也即輸出狀態，在普通的RNN中，就只有輸出狀態會反饋到輸入。

從控制的角度看，這種時序的傳遞，其實類似反饋「PS：看來控制沒白學hhh」。看一下經典的反饋圖：

在控制中，反饋即是把當前輸出回傳到輸入項，和下一時刻的輸入共同決定下一時刻的輸出，這里輸入和輸出的組合方式是通過做差得到誤差項，然后通過誤差項來得到控制量。

在LSTM中，網絡的隱狀態和輸出狀態同樣會傳遞到下一個時刻， 和系統下一刻的輸入一起共同決定下一刻的輸出，這種傳遞和循環與控制理論中的反饋有異曲同工之妙。這也使得LSTM區別于一般的前饋和卷積神經網絡，它能保留歷史輸入中的重要信息，刻畫復雜的歷史依賴，和當前輸入一起去決定下一個輸出。

圖中第三部分的物理架構才是這幅圖的精髓，看到這部分，才能真正理解LSTM內部的神經網絡結構。

LSTM中的每一個門實際上就是一個以sigmoid作為激活函數的全連接層，因為這些門輸出都是(0,1)的，也就相當于一個濾波器，0為全部過濾，1為全部通過，以這種方式來保留神經網絡認為重要的信息。

LSTM中 'X' 符號對應的是按位做乘法的操作，而不是矩陣的乘法，'+' 號也是按位的加法。

LSTM中一個非常關鍵的參數，num_units，它是每一個門的神經元個數，它也是輸出的維度，在圖中它是128。

LSTM的輸入和上一時刻的輸出是通過concat的形式組合在一起的，然后作為每一個門的輸入。

如獲至寶的一幅圖，希望能幫助大家揭開LSTM的神秘面紗~

總結

以上是生活随笔為你收集整理的双层lstm每层有自己的权重参数吗_一幅图真正理解LSTM的物理结构的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。