作者丨張琨?

學(xué)校丨中國科學(xué)技術(shù)大學(xué)博士生

研究方向丨自然語言處理

論文動機(jī)

當(dāng)前問答系統(tǒng)面對的一大問題就是如何利用先驗知識。我們?nèi)祟惪梢酝ㄟ^不斷的學(xué)習(xí)，掌握非常多的先驗知識，并通過這些知識來回答問題。而這對問答系統(tǒng)而言就非常困難了，一方面不能像人一樣不斷積累，另一方面只能從輸入中獲取所需要的一切。

因此，人們就會將一些知識作成知識庫（Knowledge Base，KB），用于輔助機(jī)器的理解。但是，KB 常常是不完整的，并且針對開放性問題，KB 不可能覆蓋到所有的證據(jù)上。

如何解決這個問題是一個非常大的挑戰(zhàn)。另一方面，人們可以使用大規(guī)模的網(wǎng)絡(luò)文本作為開放性的 KB，并且也取得了一些成績，但是這些工作更多的針對的是單文檔，針對多文檔的工作目前還相對較少。

作者推測一個可能的原因就是雖然這些文本可以提供更大規(guī)模的只是覆蓋，但是缺少背景知識，這么多的文檔反而會引入很高的噪聲。因此作者考慮將這部分整合起來，通過不完整的 KB 獲取必要的和問題相關(guān)的背景知識，基于這些信息在多文檔中抽取合適的信息并最終回答答案。

模型結(jié)構(gòu)

為了有效利用 KB 和文檔信息，作者提出了一個新的端到端的模型，主要包含兩部分：1）子圖閱讀模塊：用于從知識庫中獲取和問題相關(guān)的知識信息；2）知識感知的文本閱讀模塊：利用獲取的知識從文檔中找出需要的答案。模型的結(jié)構(gòu)圖如下：

子圖閱讀模塊

這部分的主要作用就是使用 graph-attention 來為每個子圖實例整合他的鄰居節(jié)點信息，從而得到每個子圖實例更好的語義表示。因為最終是為了增強(qiáng)對問題的理解，作者首先通過一個 LSTM 處理問題，得到問題的情境信息豐富的隱層莊田表示，同時使用相同的 LSTM 得到標(biāo)記化 （tokenized） 的關(guān)系隱層狀態(tài)表示。接下來作者使用 self-attention 得到關(guān)系的語義表示：

?

由于問題需要和不同的關(guān)系進(jìn)行匹配，而每個關(guān)系只關(guān)注到問題的其中一部分信息，因此，作者使用得到的關(guān)系表示和問題的每個隱層狀態(tài)進(jìn)行匹配，最后得到問題的語義表示：

同時，作者還發(fā)現(xiàn)主題實例的指示向量非常有用，如果一個主題實例連接的鄰居出現(xiàn)在了問題中，那么對應(yīng) KB 中的三元組將會比那些非主題實例的鄰居對問題的語義表示更有用，因此在鄰居節(jié)點上的注意力值最終表示為：

因此最終每個子圖實例就可以通過如下方式計算出來：

知識感知的文本閱讀模塊

在上個模塊，我們得到了每個子圖實例的 embedding 表示，那么在這部分要做的就是利用這些表示增強(qiáng)對問題和文檔的理解，從而得到最后的答案。這部分作者使用了一個現(xiàn)有的做閱讀理解的模型。

首先是利用學(xué)習(xí)到的知識對問題進(jìn)行更新表示。作者首先利用 self-attention 得到問題的原始表示，然后收集關(guān)于問題的主題實例，然后使用一個門結(jié)構(gòu)將這些信息進(jìn)行融合。

得到了對問題的更新表示之后，就是使用學(xué)習(xí)到的只是對文檔進(jìn)行增強(qiáng)表示，首先對文檔和文檔對應(yīng)的實例使用 Bi-LSTM 進(jìn)行處理，接下來作者設(shè)計了一種新的基于問題的表示的門機(jī)構(gòu)，該結(jié)構(gòu)允許模型能夠動態(tài)選擇跟問題相關(guān)的輸入，從而得到更好的文檔語義表示。

實體信息聚合?& 答案預(yù)測

最后作者將從 Text Reader 中得到的信息進(jìn)行融合，首先使用一個 co-attention 計算問題和 Bi-LSTM 的隱層狀態(tài)的相關(guān)程度，然后對這些隱層狀態(tài)進(jìn)行加權(quán)和，對于文檔對應(yīng)的實例，作者使用了均值池化得到最后的表示。最后使用一個非線性變化和 sigmoid 函數(shù)來求得每個實例是否是答案的概率。從而求得最后的答案。

實驗

作者在一個公開數(shù)據(jù)集 WebQSP 上進(jìn)行模型的效果驗證，同時為了更好的驗證模型的效果，作者還認(rèn)為控制了 KB 的使用程度，從實驗結(jié)果上看本文提出的模型還是很不錯的。

同時作者還給出了一些 case 來更好的展示模型的效果。

總結(jié)

問答系統(tǒng)，尤其是開放性的問答系統(tǒng)需要非常多的先驗知識來輔助答案的預(yù)測，雖然我們可以通過知識庫來整合一些先驗知識，但畢竟無法覆蓋到所有的情況。作者通過知識庫和大規(guī)模網(wǎng)絡(luò)文本的相互輔助，從而提升了模型的整體性能。

同時我們也可以看到，知識庫的使用正在變得越來越普及，無論是問答系統(tǒng)，對話，推理還是常識理解，都將知識庫作為一個非常好的先驗信息源，因此知識庫的使用也變得越來越重要，非常值得關(guān)注一下。

點擊以下標(biāo)題查看更多往期內(nèi)容：?

• 圖神經(jīng)網(wǎng)絡(luò)綜述：模型與應(yīng)用

• ACL 2019 | 基于知識增強(qiáng)的語言表示模型
  

• ACL 2019 | 基于上下文感知的向量優(yōu)化
  

• 基于小樣本學(xué)習(xí)的意圖識別冷啟動

• 復(fù)旦大學(xué)邱錫鵬：詞法、句法分析研究進(jìn)展綜述

• ACL 2019?| 句對匹配的樣本選擇偏差與去偏方法

• 深度長文：NLP的巨人肩膀（上）

• NLP 的巨人肩膀（下）：從 CoVe 到 BERT
  

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識的人。

總有一些你不認(rèn)識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個，讓知識真正流動起來。

??來稿標(biāo)準(zhǔn)：

? 稿件確系個人原創(chuàng)作品，來稿需注明作者個人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請在投稿時提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會添加“原創(chuàng)”標(biāo)志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發(fā)送?

? 請留下即時聯(lián)系方式（微信或手機(jī)），以便我們在編輯發(fā)布時和作者溝通

?

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 下載論文 & 源碼

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的ACL 2019 开源论文 | 基于知识库和大规模网络文本的问答系统的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。