文章目錄

• abstract
• 1 introduction
• 2.方 法
• • 2.1實體關系表(Figure-2)
  • 2.2 The Table Filling Multi-Task RNN Model
  • 2.3 Context-aware TF-MTRNN model
  • 2.4 Piggybacking for Entity-Relation Label Dependencies
  • 2.5 Ranking Bi-directional Recurrent Neural Network (R-biRNN)
• 3.Model training
• • 3.1 端到端關系抽取

Gupta, P., et al. (2016). Table filling multi-task recurrent neural network for joint entity and relation extraction. Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers.

abstract

摘要提出了一種新的基于詞的語義組合的上下文感知聯合實體和詞級關系提取方法，提出了一種多任務遞歸神經網絡(TF-MTRNN)模型，將實體識別和關系分類任務簡化為表格填充問題，并對它們之間的相關性進行了建模。該神經網絡結構能夠在不知道句子中對應關系參數的情況下對多個關系實例進行建模。實驗結果表明，一種利用候選實體對關聯實體之間的標簽依賴關系進行建模的簡單方法可以提高性能。我們在CoNLL04數據集上展示了最新的結果，實體識別和關系分類分別提高了2.0%和2.7%。

• 簡化為表格填充問題
• 多任務RNN
• 對相關性建模
• 多關系

1 introduction

關系分類的任務是預測帶注釋的名詞對(也稱為關系參數)之間的語義關系。這些注釋，例如參與關系的命名實體對，通常很難獲得。傳統方法通常是基于兩個獨立的子任務的管道:實體識別(ER1)和關系分類(RC),首先檢測命名實體,然后執行關系分類檢測實體提到,因此忽略了潛在的相互依賴關系和傳播錯誤分類實體識別的關系。這兩個子任務一起稱為端到端關系提取。
關系分類是一個句子層次的多類分類問題，它通常假定句子中只有一個關系實例。通常認為實體識別影響關系分類，但關系分類不影響實體識別。在這里，我們用實驗證據來證明后者是不正確的。例如，在圖1中，PER和ORG實體之間存在關系Work For, ORG和LOC之間存在ORGBased，而LOC和LOC實體之間存在ORGBased。相反，對于具有關聯關系的給定單詞，可以檢測候選實體類型。例如，在圖2中，對于給定的關系，假設位于，候選實體對是(LOC, LOC)。因此，這兩個任務是相互依賴的，通過提出的子任務聯合建模和簡單的piggybacking方法，優化單一網絡，ER和RC對候選實體對的相互依賴關系進行建模，并實現相應的關系。
聯合學習方法(Roth和Yih, 2004;Kate和Mooney, 2010)在復雜的多個獨立模型上為子任務建立聯合模型。(Miwa和Sasaki, 2014)提出了一種聯合實體和關系提取方法，使用基于歷史的結構化學習和表表示;然而，它們明確地合并實體關系標簽的相互依賴性，使用復雜的特性和搜索啟發式來填充表。此外，其最先進的方法是結構化預測，而不是基于神經網絡框架。然而，遞歸和卷積神經網絡等深度學習方法(Zeng et al.， 2014;張，王，2015;Nguyen和Grishman, 2015)對待關系分類是一個句子級的多類分類，依賴于句子中提供的關系參數。因此，它們不能在一個句子中處理多個關系實例，并且不能檢測到參與檢測到的關系的相應的實體提及對。

• 以前NN的方法沒有多關系
• 本文貢獻
  • 提出了一種新的表格填充多任務遞歸神經網絡
    • 減少了搜索啟發式和顯式實體和關系標簽依賴
    • 多關系
  • 使用一種簡單的方法為單詞(從每個單詞的關聯類型派生而來)附帶候選命名實體，從而對標簽依賴關系進行建模
    • 共享模型參數和表示

提出了一種新的表格填充多任務遞歸神經網絡，通過統一的多任務遞歸神經網絡對實體識別和關系分類任務進行聯合建模。我們使用實體關系表表示來檢測單個框架中的實體提及對和對應關系。它減少了聯合實體和關系學習中對搜索啟發式和顯式實體和關系標簽依賴的需要。據我們所知，這是首次嘗試通過多任務遞歸神經網絡來聯合建模實體和關系提取任務之間的相互依賴關系。
本文提出了一種基于上下文感知的RNN框架的詞對合成的句子級關聯學習方法。我們的方法相對于最先進的方法，如CNN和RNN，在關系分類上有顯著的優勢，因為我們不需要標記的名詞性，并且可以在一個句子中建模多個關系實例。

有命名實體標簽對于發現它們之間的關系類型是非常有用的，反之亦然，有命名實體標簽之間的關系類型可以減輕命名實體標簽的問題。因此，使用一種簡單的方法為單詞(從每個單詞的關聯類型派生而來)附帶候選命名實體，從而對標簽依賴關系進行建模，從而改進了系統的性能。此外，該網絡中的順序學習方法通過共享模型參數和表示來學習實體和關系標簽依賴關系，而不是顯式地對它們建模。

在CoNLL04數據集上，我們的方法在實體識別和關系分類上分別比最先進的方法高出2.0%和2.7%。

2.方 法

2.1實體關系表(Figure-2)

我們采用Miwa和Sasaki(2014)提出的表結構作為模型的主干，如表1所示。這種結構允許對聯合實體和關系提取進行優雅的形式化處理，因為實體和關系標簽都定義為句子中單詞wi和wj之間的二元關系實例。實體標簽是這樣一個二元關系的i=j，即對角線上的單元格。對于i!=j來說，關系標簽是這樣一種二元關系，即，非對角單元格。為了消除冗余，我們規定對(wi, wj)的正確標簽是關系標簽r，當且僅當i !=j, wi=ei，wj=命名實體ej，r(ei, ej)為真。我們引入無關系的特殊符號⊥，即這兩個詞之間沒有關系。
除了為實體和關系標簽提供了一個通用的框架之外，表結構的另一個優點是每個句子都可以免費建模多個關系。它只是對應于幾個(多個)用對應關系標記的非對角單元格。

2.2 The Table Filling Multi-Task RNN Model

在形式上，對于長度為n的句子，我們的任務是標記(n+1)n/2個空。挑戰在于標簽的決定是高度相互依賴的。我們采用深度學習方法，因為深度學習模型最近已經成功地在NLP中建模了復雜的依賴關系。更具體地說，我們應用遞歸神經網絡(RNNs) (Elman, 1990;喬丹,1986;由于他們成功地完成了復雜的NLP任務，如機器翻譯和推理。
為了應用RNNs，我們將表的單元格按圖4所示的順序排列，并使用（標記或填充）按順序依次填充單元格。我們將這種方法稱為表填充。
更具體地說，我們使用雙向架構(Vu et al.， 2016b)，前向RNN和后向RNN來填充每個單元(i, j)，如圖3所示。前向RNN提供了歷史的表示w1，…wi。反向網絡提供了下文的表示wj，…w |s |。圖中顯示了如何計算關聯的命名實體標記。正向RNN如下圖所示。hfi是歷史的表現，hbj是下文內容的表達。兩者都被輸入到hi j中，然后hi j預測標簽L-ORG。在這種情況下，i =j。關系標簽的預測是相似的，除了i！= j時刻。

• i=j:實體標簽
• i!=j:關系標簽
• 方法：雙向RNN
  • -> 前向，前文
  • <-后向，后文
    

我們提出的基于RNN的框架通過共享模型參數和表示形式，將實體和關系提取任務聯合建模，以學習它們之間的相關性。如圖3所示，我們使用兩個獨立的輸出節點和權重矩陣分別進行實體和關系分類。實體標簽賦值給一個詞，關系賦值給一個詞對;因此，只有來自前向和后向網絡的相同單詞組成時才會執行EE。

• 通過共享參數和表示–聯合–》學習他們之間的相關性。
  

2.3 Context-aware TF-MTRNN model

在圖3中，我們觀察到，當單詞Association和Va的隱藏表示被組合在一起時，中間的上下文，即在單詞對組合中出現的所有單詞之間的序列被遺漏了。因此，我們在網絡中引入了缺少的上下文的第三個方向(圖5)(即在Alexandria中)，將完整的上下文累積在組合的隱藏向量中(hi,j)。

• 前面只有上文和下文，沒有實體之間的context，這里加上。
• 
  

2.4 Piggybacking for Entity-Relation Label Dependencies

• 有命名實體標簽對于發現它們之間的關系類型是非常有用的，反之亦然，有命名實體標簽之間的關系類型可以減輕命名實體標簽的問題。在圖6的端到端關系提取過程中，我們對這些標簽的相互依賴關系進行了建模，其中時間步長t的輸入向量為
• 
  其中CRE是對實體依賴關系建模的計數向量，EER是預測實體對實體依賴關系建模的一個熱點向量，Wemb是詞嵌入向量。因此，在每個時間步長的輸入向量t是這三個向量的串聯。

為了將實體建模為關系依賴，TF-MTRNN模型(圖6)首先計算實體類型，實體類型由實體-關系表的對角條目表示。將每個預測實體類型EER(填充的藍色方框)與對應的詞嵌入向量Wemb連接，然后輸入相同的模型M進行關系分類。
為了對實體依賴關系進行建模，我們派生了一個候選實體標記列表，除了K個關系類型之外，每個詞都參與了一個關系。與關系類型相關的每個單詞都是由關系分類(RC)步驟確定的(圖6)。圖7展示了給定句子中每個單詞的實體類型計數向量(圖1)。例如，單詞Alexandria參與了關系類型:ORGBased in和locate in。可能的實體類型是{U-ORG, L-ORG, U-LOC, L-LOC}用于ORGBased In，而{U-LOC, L-LOC}用于locate In。然后我們從這些可能的實體類型計算一個計數向量CRE。因此，U-LOC和L-LOC的出現次數分別為2,U-ORG和L-ORG的出現次數分別為1(圖7)。將每個單詞的count vector (filledyellow color box)作為候選實體類型，通過將其與對應的單詞嵌入向量Wemb連接起來，作為實體學習的M。這種承載候選實體計數向量的簡單方法允許從關系到實體學習標簽依賴關系，以改進實體提取。此外，通過共享參數和在統一網絡中調整共享嵌入實現多任務處理，可以實現學習標簽的相互依賴性。

• 計算實體類型（對角線上）EER
• EER+Wemb
• 關系分類
  • 候選實體標記列表
  • 共享參數
    

2.5 Ranking Bi-directional Recurrent Neural Network (R-biRNN)

排名損失被用于神經架構(多斯桑托斯et al ., 2015)和(Vu et al ., 2016 b)處理人工類。在我們的實驗中,對于一個給定的句子x類標簽y +,競爭類c-是選擇得分最高的在所有競爭類在SGD步驟?；驹硎菍W習真正的標簽之間的距離最大化y +最好的競爭力標簽c-對于一個給定的數據點x。我們使用排名處理兩個人工類即損失。O和⊥,分別在實體和關系類型。排名目標函數的定義是

• set ${\gamma }^{+}=2,m^{+}=2.5,m^{?}=0.5$

3.Model training

3.1 端到端關系抽取

在CoNLL04中，超過99%的單詞對屬于無關系類。因此，在關系學習中，要求命名實體考生選擇候選詞對。在圖6和圖9中，我們演示了用于端到端關系提取的聯合和管道方法
在圖6中，通過過濾掉非實體對來選擇候選關系對。因此，在實體-關系表中，我們沒有為非實體對插入任何關系標簽，并且RC沒有被執行。注意，RC選擇了一個詞對，其中至少有一個詞是實體。它允許模型M通過攜帶候選命名實體(圖7)在NER中糾正自身錯誤。然而，在圖9中，兩個獨立的模型M1和M2分別為NER和RC進行了訓練。在管道方法中，唯一的候選關系是具有(U-， U-)、(L-， L-)或(U-， L-)實體類型的單詞對。因此，在RC子任務中，只有w1和w5是按照單詞序列在M2中組成的。

• 大多無關系

• 生成候選詞對

  • 過濾掉非實體對

• word embedding

  • 50-d預訓練詞向量（7-gram)

多任務訓練是通過在一組訓練步驟中切換多個任務來執行的。然而,我們執行開關ER和RC子任務之間基于每一個任務的性能共同驗證設置和更新學習速率只有當任務從RC轉向ER(圖8)。ER是多任務的任務開始和ER / RC切換在接下來的訓練步驟,當他們ValidF1分數并不比BestValidF1分數的前面的步驟驗證集。

• (i)我們提出的所有模型元素(POS、CF、CTX、piggybacking、ensemble)都提高了性能，特別是CTX和piggybacking提供了很大的改進。
• (ii)毫不奇怪，能夠訪問NER分類的管道RE模型比單獨的RE模型表現得更好。
• (iii)聯合模型比單獨和流水線模型的性能更好，表明聯合訓練和解碼對聯合NER和RE更有優勢。
  
• Word pair Compositions (T-SNE):我們觀察到，具有共同關系類型的實體提及對在語義實體關系空間中形成對應于每個關系的簇

總結

以上是生活随笔為你收集整理的论文学习15-Table Filling Multi-Task Recurrent Neural Network(联合实体关系抽取模型）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。