摘要：

本文通過提出Dual crOss-sharEd RNN framework (DOER)模型來在同時解決屬性級實體抽取及情感分類任務，這一模型采用兩個RNN分別處理兩個任務，并采用一個cross-shared 單元將兩部分的隱藏層表示進行互相增強。并采用兩個輔助任務：實體長度預測和輸入單詞情感極性預測作為輔助任務與模型進行聯合訓練，實驗結果在三個數據集上有SOTA的表現。

1.簡介：

本文提出之前的研究沒有把屬性項抽取（ATE）和屬性級情感分類（ASC）同時做的原因：

1.ATE 和ASC本質上是不同的任務，一個是序列標注任務，一個是分類任務，基本的模型不行，在共同處理時會比較困難，除非將ASC也作為標注任務進行處理。

2.對于ATE任務，其中的實體數量是不確定的，構成實體的單詞數量也是不確定，應此對于實體抽取任務會有一些困難。

2.模型：

模型的整體結構如下所示：

2.1 word embedding

?本文的embedding采用另外一篇論文《Double Embeddings and CNN-based Sequence Labelingfor Aspect Extraction》提出的采用通用的embedding（在通用的、大規模的語料庫上進行訓練的）和領域特定的embedding（eg.對于laptop數據集，通過該數據集訓練詞向量），將兩部分詞向量進行拼接得到的詞向量作為模型的輸入。

2.2stacked dual RNN

將2.1得到的詞向量分別輸入到兩個RNN，本文采用的RNN為ReGU，詳細結構如下：

計算公式如下：

?

? 其中f為更新門，控制前一時間步的信息有多少進入下一時間步；O為殘差門，控制上一層的信息有多少進入下一層。

2.3Cross-Shared Unit.

有RNN分別得到兩個隱藏層表示用來處理實體抽取和情感分類任務，但是這兩部分隱藏層表示是獨立的，事實上，兩個任務的標簽是有聯系的，比如實體抽取的標簽的O，那么情感分類對應的標簽也應該是O，因此本文提出了Cross-Shared Unit.來使兩部分的信息互相增強。具體實現結構及公式如下：

?公式3計算實體抽取的每一個輸出與情感分類每一個輸出的相關性，然后通過公式4轉化為權重，再用得到的權重對RNN的輸出進行調整。

2.4Interface.

通過CRF來預測最終的結果，對于實體抽取任務，每一個單詞輸出一個標簽{B,I,O}中的一個，對于情感分類任務，標簽分為{PO\NT\NG\CF\O},對于多詞情感分類任務，整體的標簽采用出現次數多情感標簽，當出現次數相同時，采用第一個。

2.5Auxiliary Aspect Term Length Enhancement&Auxiliary Sentiment Lexicon Enhancement

對于實體抽取任務和情感分類，分別采用實體長度預測、單詞情感極性作為輔助任務。公式7,8為實體長度預測的預測函數和損失函數，公式9.10為情感預測的預測函數和損失函數：

?

?

?

?最后的損失函數由這幾部分的損失函數構成

總結

以上是生活随笔為你收集整理的论文阅读笔记：DOER: Dual Cross-Shared RNN for Aspect Term-Polarity Co-Extraction的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。