Commonsense for Generative Multi-Hop Question Answering Tasks

鏈接： https://arxiv.org/abs/1809.06309

?

背景

機器閱讀任務按照答案類型的不同，可以大致分為:

(1)????分類問題: 從所有候選實體選擇一個

(2)????answer span: 答案是輸入文本的一個片段

(3)????生成式問題: 模型生成一句話回答問題

不同的數據集文檔的差異也較大。如SQuAD，CNN/DM數據集來源于百科，新聞等文本，問題類型多為事實型，因而回答問題不需要綜合全文多處進行綜合推理，只需要包含答案的句子即可。而本文實驗所用的數據集如NarrativeQA則來源于小說等，回答問題需要綜合全文多處不相連片段進行推理，因此難度更大。

本文提出在NarrativeQA等需要多跳推理的文本進行生成式問題回答的模型。人工抽樣數據集樣本分析發現，許多樣本答案的推理單憑文本包含的信息是無法完成推理并回答的，需要引入外部知識庫中的常識信息。本文提出在常規的機器閱讀模型中引入ConceptNet中的常識信息。

BaseLine模型

按照機器閱讀模型的一般性結構，baseline模型可以分為4層:

(1)??Embedding layer: 問題和文檔里的每個詞用預訓練的詞向量和ELMo向量表示

(2)??Reasoning layer: 重復執行K次推理單元，推理單元的內部結構是BiDAF模型的attention層

(3)??Model layer: 最后再對文檔的表示做self-attention和Bi-LSTM

(4)??Answer layer: pointer-generator decoder, 即RNN的每一步同時對詞表和輸入計算輸出概率，每個詞在當前位置被輸出的概率為其在詞表中被選中的概率和其在輸入中被copy的概率之和。

?

改進模型：引入外部常識

常識挑選

對每一個樣本，需要中外部KG中選擇與之相關的多跳路徑，做法如下：

(1)??在KG中找出多跳路徑，其中包含的實體出現在樣本的問題或文檔中

(2)??對這些路徑中的實體節點按照出現次數或PMI打分

(3)??類似beam search, 從所有路徑生成的輸出中挑選出得分最高的一些路徑，這些路徑是對該樣本可能有幫助的外部常識信息

模型引入常識

引入外部常識通過修改Reasoning layer中的基本單元。具體做法是，每條路徑的embedding表示為其每個節點的文本embedding的簡單拼接，修改后的Reasoning cell在經過BiDAF的attention結構后，再對該樣本的所有外部常識三元組路徑做attention計算，該attention計算再次更改文檔和問題中每個詞的表示。

實驗結果

對比baseline模型和引入外部常識的模型可見，引入外部常識能是模型在BLEU和Rouge等指標上取得不錯的提升。

對模型做ablationtest, 可以發現推理層的推理次數如果為1，模型效果下降很多，這表明模型確實在利用多跳的路徑信息。另外，ELMo embedding，以及經過Reasoning層后的self-attention，都對模型的效果提升較大。

本文作者: 王梁，浙江大學碩士，研究方向為知識圖譜，自然語言處理.

---

OpenKG.CN

中文開放知識圖譜（簡稱OpenKG.CN）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

轉載須知：轉載需注明來源“OpenKG.CN”、作者及原文鏈接。如需修改標題，請注明原標題。

?

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 | 在生成式多跳机器阅读任务中引入外部常识知识的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。