鏈接:https://arxiv.org/pdf/1804.03317.pdf

概述

當前大部分的 kbqa 方法為將 kb facts 與 question 映射到同一個向量空間上,然后計算相似性. 但是這樣的做法會忽視掉兩者間原本存在的單詞級別的聯系與交互. 所以本文提出一種網絡結構 ARSMCNN,既利用到語義的信息, 又利用到單詞級別的交互.

模型

作者提出一種稱為 attentive recurrent neural network with similarity matrix based convolutional neural network 網絡結構,同時運用 attentive rnn 以及 cnn 來得到 question 與 kb facts 之間的相似度從而給出匹配得分. 上圖為完整的流程示意圖.

首先假設?個三元組(subject, relation, object)為?個 fact, 并且當 subject 與 relation 確定后,答案也會被確定下來.從而可以將問答任務分為兩個階段: entity detection 與 relation detection.

1) Entity Detection

?先利用 bilstm 訓練模型,輸入一個問句,如果是關鍵詞則標記為 1,否則標記為 0. 然后將標記為1的詞拿出來進行 entity dectction. 作者提出了一種選取 entity candidates 的方法, 大致分為四個步驟:
a) 將標記為 1 且距離小于等于 1 的單詞拼接成一個句子 s,如果有多個,則取長度最長的那一個.
b) 在知識庫中尋找能夠完美匹配的實體, 如果找到,則返回實體集合,如果沒有則進行下一步.
c) 基于在 s 中最有可能存在 entity mention 的假設, 可以通過 s 生成知識庫中的對應實體 x. 所以, 以 s 為中心通過expand或者 narrow 最多兩個單詞來構成s’,然后利用s’取尋找 entity. 如果找到了則返回實體集合,否則進行下一步
d) 如果仍然沒有找到 match, 則利用 S 中的每個單詞來尋找包含該單詞的實體. 保證兩者有最大公共子串.

經過實驗作者發現進入到第四步的概率僅為 0.2%

2) Relation Detection

首先將問句中的實體用<s>替換, 然后進過兩個部分進行match score的計算.

a) semantic level:
利用 attentive rnn 作為 encoder compare 的框架, 將 question 作為輸入到 bigru中,并于 relation 做一個 attention:

然后利用 p 和 r 計算 match score:

b) literal level:

將單詞映射到 embedding 空間后,先計算相似矩陣:

隨后對這個相似矩陣進行卷積運算:

然后在兩個方向上做最大池化

(其中的d1,d2分別為問句和 relation 的長度)
最后再經過一個全聯接層得到literal層面上的 match socre:

c) 將兩個層面的得分綜合起來作為最后的match socre:

訓練過程中使用 margin ranking loss, 保證正確的relation與問句的匹配得分比負例要高:

實驗結果:

在simple question上做實驗:

筆記整理: 陳佳奧，浙江大學本科生， 研究方向為 KB-QA, NLP。

---

OpenKG.CN

中文開放知識圖譜（簡稱OpenKG.CN）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

轉載須知：轉載需注明來源“OpenKG.CN”、作者及原文鏈接。如需修改標題，請注明原標題。

?

點擊閱讀原文，進入 OpenKG 博客。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的论文浅尝 | 基于RNN与相似矩阵CNN的知识库问答的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。