• 序列模型：以一個句子為例

1?循環網絡：通過帶有自反饋的神經元，能夠處理任意長度的（存在時間關聯性）序列；

?? ??? ??? ??? ??? ?將過去的信息整合起來，輔助處理當前信息。

• 循環網絡的結構以及參數

• 循環網絡的前向傳播的計算?

?

• 簡化表示

?

• 穿越時間反向傳播（第一幅圖是前向傳播計算損失函數，第二幅圖是后向傳播調整參數）

?

?

2?類型：固定長度序列到可變長度序列（圖像到文字），可變長度序列到固定長度序列（文字到情感），可變長度序列到可變長度序列。

• 循環網絡舉例（語音識別系統和翻譯系統的基本組成，將語音或者文本識別出來）

?

?

3?變種：

? ? 雙向循環神經網絡（BRNNs）：結合過去和未來的信息進行工作，主要用于手寫識別及語音識別領域。由兩個RNN組成，一個前向處理序列數據，一個后向處理序列數據。

? ? 編碼-解碼網絡結構：可變長度序列到可變長度序列，例如機器翻譯

4?深度循環網絡結構：

?? ??? ?RNN一般只是分為三個部分：a. 從輸入層到隱藏層；b.?從前一隱藏層到下一隱藏層；c.?從隱藏層到輸出層。

?? ?? ? 實際上還不是深度網絡。

5?門控循環神經網絡

?? ?? ? 解決長期依賴（LTD）問題：關鍵信息在傳播過程中逐漸被稀釋。（梯度爆炸與梯度消失）

? ? ? ? 門控循環神經網絡種類：長短期記憶網絡（LSTM），門控（gated）循環網絡

?? ?? ? 1?長短期記憶網絡（LSTM）：輸入為數據的當前時間片段以及前一時間片段隱藏層的輸出

輸入門：選擇重要的

遺忘門：清除不重要的

輸出門：鎖住重要的

?? ?? ? 2?門控（gated）循環網絡

門控循環單元（GRUs）：使用更新門及重置門

?

?

總結

以上是生活随笔為你收集整理的什么是循环神经网络——学习笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。