本文轉載自公眾號：PaperWeekly。

---

論文筆記來自 PaperWeekly 社區用戶 @britin。本文對基于 RNN 的從大規模知識庫中進行推理進行了精度和可操作性的改善，提出的模型使用單個 RNN 就可以在多種 relation types 之間進行推理。

如果你對本文工作感興趣，點擊底部的閱讀原文即可查看原論文。

關于作者：Britin，中科院物理學碩士，研究方向為自然語言處理和計算機視覺。

■?論文 | Chains of Reasoning over Entities, Relations, and Text using Recurrent Neural Networks

■ 鏈接 | https://www.paperweekly.site/papers/1521

■ 源碼 | https://rajarshd.github.io/ChainsofReasoning

論文動機

使用神經網絡進行更為復雜的推理以增加 KB 中的條目正在引起廣泛關注，這么做的一個重要原因是為了同時支持 look-up 類型的問答系統以及從 entity 和 relation 中間接推理到答案的問答系統。

KB 通常是非常不完整的，推理可以完善那些缺失的信息。見下圖：

已有的方法大多是基于 symbolic 和 logical 的推理系統，比如 Universal Schema，它學習 relation type 的向量表示，包括結構化 KB 中的以及自然語言文本中的關系表示，其中的 matrix completion 機制可以進行簡單的推理，但只能對單條 evidence 進行操作，比如從 microsoft-located-in-seattle 推理出 microsoft-HQ-in-seattle。

更高級的推理是從從句中得到包含三個或更多實體的 multi-hop 的知識庫圖路徑。比如可以從 Melinda–spouse–Bill–chairman–Microsoft–HQ-in–Seattle 得到 Melinda–lives-in–Seattle。

這種推理通常用 path ranking algorithm 進行。RNN 沿著任意長度的路徑組成了每條邊關系的 embeddings，輸出一個表示路徑兩端實體之間關系的向量表示。但是這些方法只能用于小型或人造數據庫上，并且對于許多情況下來說還是不準確不實際。?

本文提出的方法則可以對大型的多語義 KB 進行推理，本文對基于 RNN 的從大規模 KB 中進行推理進行了精度和可操作性的改善：

• 之前的工作只推理了 relation，沒有推理組成路徑上節點的 entities，本文對關系類型，實體和實體類型進行了聯合學習和推理。

  
  

• 本文使用了 neural attention 機制對多條路徑進行推理。

  
  

• 之前的方法最大的問題是要為每一個需要預測的 relation-type 單獨訓練模型。而本文只訓練一個 RNN 來預測所有的 relation type。另外，由于訓練的 multi-task 特性，共享了 RNN 參數，精度也顯著提高了。

模型介紹

本文首先介紹了基本的 Path-RNN 的架構，本文的一切改進都是基于該模型的。

Path-RNN 的輸入是兩個實體之間的路徑，輸出推理出的二者之間的新關系。通過將關系之間的連接用 RNN 表示來進行推理。路徑的表示是在處理完路徑中所有的關系之后由 RNN 的最后的隱狀態給出的。?

架構如圖所示，對每一條可能的路徑用一個 RNN 來表示，將改路徑每一個節點上的 entity 和連接的 relation 進行向量化后輸入一個 RNN 單元，整條路徑的最終向量表示就是 RNN 最后一個單元輸出的 Hidden state，將改路徑的向量表示和要預測的關系的向量表示求相似度，相似度最高的就是目標路徑。

這個模型的缺點是每一個 relation type 都要訓練一個新的模型，變量無法共享，數量巨大。另外只選擇相似度最高的那一個路徑可能會忽略掉其他路徑所隱含的信息，還造成了計算浪費。

本文對這個模型做出的改進有：

• 本文共享了 relation type 的表示以及 RNN 的 composition matrices，這樣同樣的訓練數據變量就大大減少了。訓練模型的損失函數用的是 negative log-likelihood。

• 分別用 Top-k，average 和 LogSumExp 方法為每一條路徑的相似度評分加上權重，這樣就考慮了每一條路徑包含的信息，而不僅僅是評分最高的那條。

實驗結果

本文在一個大型的 freebase 實體和關系數據集以及 clueweb 文本數據集上做了驗證。

和先前最好的結果相比，本文在 MAP 上提高了 25%。另外本文還單獨設計了一個驗證來驗證在同一個 RNN 中共享 strength 的效果，結果證明在訓練過程中一些出現頻率較小的關系也提高了 54% 的精度。

本文還在另一個數據集上做了驗證：chains of resoning in WordNet。和目前最好的結果相比，在平均分位數上的錯誤率減少了 84%。

文章評價

本文提出的模型使用單個 RNN 就可以在多種 relation types 之間進行推理。并且利用了多條可能路徑以及路徑間所有實體和關系的綜合信息，這些信息在之前的方法中都是忽略的，極大程度的提高了精度。但是由于數據的稀疏性，在處理較長的文本特征時性能就會減弱。

-End-

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。

▽ 點擊 |?閱讀原文?| 查看原論文

---

OpenKG.CN

中文開放知識圖譜（簡稱OpenKG.CN）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

總結

以上是生活随笔為你收集整理的论文浅尝 | 基于神经网络的知识推理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。