1. 情感傾向性分析

長短時記憶網絡的基本概念

長短期記憶網絡（LSTM，Long Short-Term Memory）是一種時間循環神經網絡，是為了解決一般的RNN（循環神經網絡）存在的長期依賴問題而專門設計出來的，所有的RNN都具有一種重復神經網絡模塊的鏈式形式。

• LSTM網絡結構
• LSTM的門控機制
• LSTM的變種

2 LSTM網絡結構

2.1 LSTM網絡結構及其特點

• 基于RNN結構設計，從左到有依次閱讀整個句子，并不斷更新記憶。
• LSTM在不同cell之間傳遞的是2個記憶信息，而不像循環神經網絡一樣只有一個記憶信息。
  

2.2 LSTM內部結構

• 區別于循環循環神經網絡，LSTM最大的特點是，在更新內部記憶的時候，引入了遺忘機制，那就是：允許網絡忘記一些過去閱讀過程中看到的一些無關緊要的內容，只保留有用的歷史內容，通過這種方式，延長了記憶長度。
  

3 LSTM門控機制

3.1 LSTM的關鍵：細胞狀態

• 細胞狀態類似于傳送帶，直接在整個鏈上運行，只有一些少量的線性交互。信息在上面保持不變會很容易實現。
  
• LSTM通過“門控機制”讓信息選擇性通過，來去除或者增加信息到細胞狀態
• 包含一個sigmoid神經網絡層和一個piontwise乘法操作。
• Sigmiod層輸出0到1之間的概率值，描述每個部分有多少量可以通過。
  

3.2 遺忘門

• 第一步：決定從“細胞狀態”中丟棄什么信息
  

3.2 輸入門

• 第二步：決定放什么信息到“細胞狀態中”
  

3.3 更新狀態

• 第三步：更新細胞狀態
  

4 LSTM變種

4.1 變種1

• 增加窺視孔鏈接（peephole connection）
• 讓門層也會接受細胞狀態的輸入
  

4.2 變種2

• 通過使用coupled忘記和輸入門
• 之前是分開確定需要忘記和添加的信息，這里是一同作出決定。
  

4.3 變種3:GRU

• GRU有兩個門，分別為更新門和重置門，即圖中的zr和rt更新門用于控制前一時刻的狀態信息被帶入到當前狀態中的程度，更新門的值越大說明前一時刻的狀態信息帶入越少，重置門用于控制忽略前一時刻的信息的程度，重置門的值越小說明忽略的越多。
  

總結

以上是生活随笔為你收集整理的自然语言处理之长短时记忆网络(六)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。