論文筆記整理：王狄烽，南京大學碩士，研究方向為關系抽取、知識庫補全。

---

鏈接：https://arxiv.org/pdf/1903.01306.pdf

發表會議：NAACL2019

動機

現有的利用遠程監督進行實體關系抽取的方法大多關注于如何對訓練數據進行降噪，從而提升模型效果，而忽略了長尾關系的抽取，使得長尾關系抽取效果極差。但是長尾關系的存在是不可忽略的，在NYT數據集中，大約70%的關系屬于長尾關系（即該關系訓練實例數量較少，少于1000）。如何提高模型對長尾關系抽取效果是該篇論文主要出發點。

貢獻

該篇論文的主要貢獻如下：

1、提出了一種長尾關系遠程監督抽取的模型；

2、聯合使用KG embeddings 和 GCNs 來學習關系豐富的語義信息；

3、利用coarse-to-fine knowledge-aware mechanism 來利用關系語義信息；

4、在NYT數據集上的結果表明當前模型在長尾關系的抽取上取得了state-of-the-art的效果。

方法

在方法整體思路上，遵從前人工作，利用語義相近的head關系，輔助訓練長尾關系，從而縮小關系抽取時潛在的搜索空間、減少關系之間的不確定性。該思路的兩個要點在于：1、如何學習得到關系語義信息；2、如何利用學習得到的關系語義信息。

對于如何學習得到關系語義信息，該論文首先利用現有的KG embeddings方法（如TransE等）學習得到關系的隱式語義信息，但是因為TransE等模型無法有效建模關系的一對多、多對多情況，從而僅僅通過KG embedding方法無法有效獲取關系的語義信息。因此，論文中使用圖卷積網絡（GCNs）從關系的層次結構中獲取關系的顯式語義信息。最后將關系的隱式語義信息和顯式語義信息進行結合從而得到最終的關系語義信息表示。

對于如何利用學習得到的關系語義信息，該論文首先利用CNN將句子編碼為低維向量，然后使用 coarse-to-fine knowledge-aware mechanism 從多個同實體對句子（多實例學習）加權得到最終的句子向量表示。

模型的框架圖如下所示：

從模型框架圖中可以看出，其方法主要包含三個部分：

1、實例編碼模塊：利用CNNs對句子進行編碼；

2、關系知識學習模塊：利用KG embedding和GCNs得到關系的語義表示；

3、Knowledge-aware注意力模塊：利用關系語義信息對同實體對的多個句子進行加權得到最終句子的語義表示。

1、實例編碼模塊

?給定一個句子及其包含的兩個entity mentions，利用CNN或PCNN模型，將原始的句子 s 映射到一個低維連續空間中，得到向量x，該論文使用的特征包括1、預訓練Skip-Gram word embedding；2、position embeddings。

?

2、關系知識學習模塊

在關系知識學習中，綜合利用 KG embedding 和 GCNs 得到關系的語義表示。對于KG embedding 使用 TransE 對知識進行預訓練從而得到關系的隱式表示。

對于如何使用GCNs得到關系的顯示表示？論文中首先構建了關系的層次結構圖，關系的層次結構圖可以使用hierarchy clustering (Johnson, 1967) or K-means算法結構構建，也可以使用現有知識圖譜中關系的層次結構。關系的層次結構圖如下所示。

對于構建的關系層次結構圖，底部的節點用TransE預訓練的關系向量進行初始化，父節點初始化為子節點平均值。

使用兩層GCN，對構建的關系層次圖進行迭代訓練，GCN 輸出層公式如下：

最終關系的語義表示為：

3、Knowledge-aware注意力模塊

依從多實例學習，對于給定的實體對，以及相關的多個句子，對于一個關系r，我們可以得到其關系的層次鏈，其中是的子關系。

我們計算 Attention 操作在關系層次鏈的每一層，從而得到每一層文本相關的關系表示，具體公式如下：

考慮到不同層次的關系對最終實例表示的貢獻的不同，對每一層關系表示使用Attention操作,其中使用作為score-function,表示輸入關系r和該層預測關系r^’之間的匹配層度，計算公式如下：

最后使用來計算，計算公式如下：

實驗

1、數據集

NYT dataset
Relations number	53
Training set	522611 sentences
	281270 entity pair
	18252 relation facts
Test set	172448 sentences
	96678 entity pairs
	1950 relation facts

2、實驗結果

3、長尾關系實驗結果

說明：為了體現模型在長尾關系的有效性，作者選擇了實例數少于100/200的長尾關系，以長尾關系構建測試子集進行實驗，實驗結果如下。

總結

本文針對長尾關系抽取提出了一種利用KG embedding和GCNs學習關系知識以及使用注意力機制利用學習得到的關系語義信息的模型。

?

---

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 | 利用知识图谱嵌入和图卷积网络进行长尾关系抽取的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。