在碎片化閱讀充斥眼球的時(shí)代，越來越少的人會(huì)去關(guān)注每篇論文背后的探索和思考。

在這個(gè)欄目里，你會(huì)快速 get 每篇精選論文的亮點(diǎn)和痛點(diǎn)，時(shí)刻緊跟 AI 前沿成果。

點(diǎn)擊本文底部的「閱讀原文」即刻加入社區(qū)，查看更多最新論文推薦。

這是 PaperDaily 的第?49?篇文章

本期推薦的論文筆記來自 PaperWeekly 社區(qū)用戶 @britin。本文對(duì)基于 RNN 的從大規(guī)模知識(shí)庫中進(jìn)行推理進(jìn)行了精度和可操作性的改善，提出的模型使用單個(gè) RNN 就可以在多種 relation types 之間進(jìn)行推理。

如果你對(duì)本文工作感興趣，點(diǎn)擊底部的閱讀原文即可查看原論文。

關(guān)于作者：Britin，中科院物理學(xué)碩士，研究方向?yàn)樽匀徽Z言處理和計(jì)算機(jī)視覺。

■?論文 | Chains of Reasoning over Entities, Relations, and Text using Recurrent Neural Networks

■ 鏈接 | https://www.paperweekly.site/papers/1521

■ 源碼 | https://rajarshd.github.io/ChainsofReasoning

論文動(dòng)機(jī)

使用神經(jīng)網(wǎng)絡(luò)進(jìn)行更為復(fù)雜的推理以增加 KB 中的條目正在引起廣泛關(guān)注，這么做的一個(gè)重要原因是為了同時(shí)支持 look-up 類型的問答系統(tǒng)以及從 entity 和 relation 中間接推理到答案的問答系統(tǒng)。

KB 通常是非常不完整的，推理可以完善那些缺失的信息。見下圖：

已有的方法大多是基于 symbolic 和 logical 的推理系統(tǒng)，比如 Universal Schema，它學(xué)習(xí) relation type 的向量表示，包括結(jié)構(gòu)化 KB 中的以及自然語言文本中的關(guān)系表示，其中的 matrix completion 機(jī)制可以進(jìn)行簡(jiǎn)單的推理，但只能對(duì)單條 evidence 進(jìn)行操作，比如從 microsoft-located-in-seattle 推理出 microsoft-HQ-in-seattle。

更高級(jí)的推理是從從句中得到包含三個(gè)或更多實(shí)體的 multi-hop 的知識(shí)庫圖路徑。比如可以從 Melinda–spouse–Bill–chairman–Microsoft–HQ-in–Seattle 得到 Melinda–lives-in–Seattle。

這種推理通常用 path ranking algorithm 進(jìn)行。RNN 沿著任意長度的路徑組成了每條邊關(guān)系的 embeddings，輸出一個(gè)表示路徑兩端實(shí)體之間關(guān)系的向量表示。但是這些方法只能用于小型或人造數(shù)據(jù)庫上，并且對(duì)于許多情況下來說還是不準(zhǔn)確不實(shí)際。?

本文提出的方法則可以對(duì)大型的多語義 KB 進(jìn)行推理，本文對(duì)基于 RNN 的從大規(guī)模 KB 中進(jìn)行推理進(jìn)行了精度和可操作性的改善：

• 之前的工作只推理了 relation，沒有推理組成路徑上節(jié)點(diǎn)的 entities，本文對(duì)關(guān)系類型，實(shí)體和實(shí)體類型進(jìn)行了聯(lián)合學(xué)習(xí)和推理。

  
  

• 本文使用了 neural attention 機(jī)制對(duì)多條路徑進(jìn)行推理。

  
  

• 之前的方法最大的問題是要為每一個(gè)需要預(yù)測(cè)的 relation-type 單獨(dú)訓(xùn)練模型。而本文只訓(xùn)練一個(gè) RNN 來預(yù)測(cè)所有的 relation type。另外，由于訓(xùn)練的 multi-task 特性，共享了 RNN 參數(shù)，精度也顯著提高了。

模型介紹

本文首先介紹了基本的 Path-RNN 的架構(gòu)，本文的一切改進(jìn)都是基于該模型的。

Path-RNN 的輸入是兩個(gè)實(shí)體之間的路徑，輸出推理出的二者之間的新關(guān)系。通過將關(guān)系之間的連接用 RNN 表示來進(jìn)行推理。路徑的表示是在處理完路徑中所有的關(guān)系之后由 RNN 的最后的隱狀態(tài)給出的。?

架構(gòu)如圖所示，對(duì)每一條可能的路徑用一個(gè) RNN 來表示，將改路徑每一個(gè)節(jié)點(diǎn)上的 entity 和連接的 relation 進(jìn)行向量化后輸入一個(gè) RNN 單元，整條路徑的最終向量表示就是 RNN 最后一個(gè)單元輸出的 Hidden state，將改路徑的向量表示和要預(yù)測(cè)的關(guān)系的向量表示求相似度，相似度最高的就是目標(biāo)路徑。

這個(gè)模型的缺點(diǎn)是每一個(gè) relation type 都要訓(xùn)練一個(gè)新的模型，變量無法共享，數(shù)量巨大。另外只選擇相似度最高的那一個(gè)路徑可能會(huì)忽略掉其他路徑所隱含的信息，還造成了計(jì)算浪費(fèi)。

本文對(duì)這個(gè)模型做出的改進(jìn)有：

• 本文共享了 relation type 的表示以及 RNN 的 composition matrices，這樣同樣的訓(xùn)練數(shù)據(jù)變量就大大減少了。訓(xùn)練模型的損失函數(shù)用的是 negative log-likelihood。

• 分別用 Top-k，average 和 LogSumExp 方法為每一條路徑的相似度評(píng)分加上權(quán)重，這樣就考慮了每一條路徑包含的信息，而不僅僅是評(píng)分最高的那條。

實(shí)驗(yàn)結(jié)果

本文在一個(gè)大型的 freebase 實(shí)體和關(guān)系數(shù)據(jù)集以及 clueweb 文本數(shù)據(jù)集上做了驗(yàn)證。

和先前最好的結(jié)果相比，本文在 MAP 上提高了 25%。另外本文還單獨(dú)設(shè)計(jì)了一個(gè)驗(yàn)證來驗(yàn)證在同一個(gè) RNN 中共享 strength 的效果，結(jié)果證明在訓(xùn)練過程中一些出現(xiàn)頻率較小的關(guān)系也提高了 54% 的精度。

本文還在另一個(gè)數(shù)據(jù)集上做了驗(yàn)證：chains of resoning in WordNet。和目前最好的結(jié)果相比，在平均分位數(shù)上的錯(cuò)誤率減少了 84%。

文章評(píng)價(jià)

本文提出的模型使用單個(gè) RNN 就可以在多種 relation types 之間進(jìn)行推理。并且利用了多條可能路徑以及路徑間所有實(shí)體和關(guān)系的綜合信息，這些信息在之前的方法中都是忽略的，極大程度的提高了精度。但是由于數(shù)據(jù)的稀疏性，在處理較長的文本特征時(shí)性能就會(huì)減弱。

本文由 AI 學(xué)術(shù)社區(qū) PaperWeekly 精選推薦，社區(qū)目前已覆蓋自然語言處理、計(jì)算機(jī)視覺、人工智能、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘和信息檢索等研究方向，點(diǎn)擊「閱讀原文」即刻加入社區(qū)！

#榜 單 公 布?#

2017年度最值得讀的AI論文 | NLP篇 · 評(píng)選結(jié)果公布

2017年度最值得讀的AI論文 | CV篇 · 評(píng)選結(jié)果公布

??我是彩蛋?

解鎖新功能：熱門職位推薦！

PaperWeekly小程序升級(jí)啦

今日arXiv√猜你喜歡√熱門職位√

找全職找實(shí)習(xí)都不是問題

?

?解鎖方式?

1. 識(shí)別下方二維碼打開小程序

2. 用PaperWeekly社區(qū)賬號(hào)進(jìn)行登陸

3. 登陸后即可解鎖所有功能

?職位發(fā)布?

請(qǐng)?zhí)砑有≈治⑿?#xff08;pwbot01）進(jìn)行咨詢

?

長按識(shí)別二維碼，使用小程序

*點(diǎn)擊閱讀原文即可注冊(cè)

? ? ? ? ???

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點(diǎn)擊 |?閱讀原文?| 查看原論文

總結(jié)

以上是生活随笔為你收集整理的论文解读 | 基于神经网络的知识推理的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。