來源：ACL 2017

鏈接：http://aclweb.org/anthology/P17-2057

?

本文提出將 Universal schema 用于自然語言問答中，通過引入記憶網絡，將知識庫與文本中大量的事實信息結合起來，構建出一個由問答對（question-answer pairs）訓練得到的 end2end 模型。通過SPADES填空問答數據集上的評測可以看到，聯合文本與知識庫信息的策略，相對僅使用單一知識源取得了更好的問答效果，是目前性能最好的模型。

動機

作者認為，現有的問答方法主要利用單一知識庫或是粗文本作為事實來源，兩者均存在一定的局限性：基于知識庫的方法，其性能主要受限于知識庫知識的不完整性；粗文本雖然包含了海量事實信息，但呈現為非結構化形式，利用效率相對知識庫較低。

Universalschema可以同時處理結構化的知識庫信息及非結構化的粗文本信息，并在通用embedding空間中將它們對齊，這一性質使得結合文本與知識庫信息用于問答成為可能。

方法

Universal schema

Universal schema 一般被用于處理知識庫文本中的關系抽取問題，通過 entity pair 將粗文本規范化，而后得到實體之間的關系表示。這種關系可以是知識庫的 relation，也可以是大語料中兩個實體間存在的某種模式(pattern)。

利用這種方法，可以將粗文本中的“實體-關系-實體”通過模式的形式呈現出來，也就作為后一步 embedding 的基礎。

?

Memory Networks

記憶神經網絡就是在常規的 attention 模型基礎上，添加額外的記憶信息保存和引用機制（memory slot），在知識問答中的一個常規用法是將知識庫三元組放入記憶槽（slot）中，本文則是將文本獲取到的實體模式也作為三元組放入其中。

?

Model Frame

?

整體的實驗模型可以分為兩個部分：

?

左側是通過Universalschema將文本與知識庫知識投影在一個通用空間中，作為融合知識存在，也就是模型的外部記憶信息。

?

右側是問答處理機制，輸入一個待填空的問句，通過雙向LSTM整合為對應上下文向量，而后由一個循環的attention操作引入與該問題實體相關的三元組信息，不斷更新該向量，最終得到與知識最相關的問題表示，而后利用softmax選出最相關答案實體，由此完成問答過程

實驗

實驗數據集

KB: Freebase

Text source:Clue Web

問答數據集：SPADES(填空問答數據集)包含 93K sentences 1.8M entities

?

實驗設計

?

1.??? 僅使用文本知識的問答模型

2.??? 僅知識庫知識問答模型

3.??? 文本+知識庫知識問答模型：

????? a.??? ENSEMBLE(采用線性模型關聯1，2模型)

????? b.??? UNISCHEMA(本文方法)

實驗結果

表1：問答實驗的結果顯示本文方法相對Bisk et al.更優的性能。

?

表2：通過一些事實結果反應出本文方法引入的文本信息有效彌補了知識庫知識的不足

?

論文筆記整理：譚亦鳴，東南大學博士，研究方向為知識庫問答、自然語言處理。

---

OpenKG.CN

中文開放知識圖譜（簡稱OpenKG.CN）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

轉載須知：轉載需注明來源“OpenKG.CN”、作者及原文鏈接。如需修改標題，請注明原標題。

?

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 | 基于Universal Schema与Memory Network的知识+文本问答的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。