Citation：Fan Yang,Zhilin Yang, William W. Cohen. Differentiable Learning of Logical Rules for Knowledge Base Reasoning. ICLR 2017.

動(dòng)機(jī)

本文提出了一個(gè)可微的基于知識(shí)庫(kù)的邏輯規(guī)則學(xué)習(xí)模型。現(xiàn)在有很多人工智能和機(jī)器學(xué)習(xí)的工作在研究如何學(xué)習(xí)一階邏輯規(guī)則，規(guī)則示例如下圖：

形式化本文關(guān)心的邏輯規(guī)則如下：

每一個(gè)規(guī)則由多個(gè)約束條件組合而成，并且被賦予一個(gè)置信度 α，其中query(Y,X) 表示一個(gè)三元組，query 表示一個(gè)關(guān)系。

不同于基于 embedding 的知識(shí)庫(kù)推理，規(guī)則應(yīng)該是實(shí)體無關(guān)的，規(guī)則可以應(yīng)用于任何新添加到知識(shí)庫(kù)中的實(shí)體，但在知識(shí)庫(kù) embedding 方法里，新添加到知識(shí)庫(kù)中的實(shí)體由于沒有對(duì)應(yīng)的表示，無法就這些實(shí)體進(jìn)行相關(guān)的推理。

不同于以往的基于搜索和隨機(jī)游走的規(guī)則學(xué)習(xí)方法，本文的目標(biāo)是提出一個(gè)可微的一階謂詞邏輯規(guī)則學(xué)習(xí)模型，可用基于梯度的方法進(jìn)行優(yōu)化求解。

本文提出的NeuralP模型主要收到 TensorLog 的啟發(fā)。TensorLog 可視為一個(gè)可微的推理機(jī)。知識(shí)庫(kù)中的每個(gè)實(shí)體用一個(gè) one-hot 向量表示，每個(gè)關(guān)系 r 定義為一個(gè)矩陣算子 M_r，M_r 為一個(gè)稀疏的毗連矩陣，維度為 n_e×n_e, 其中 n_e 表示實(shí)體的個(gè)數(shù)。每一條邏輯規(guī)則的右邊部分被表示為以下形式：

所以總結(jié)本文關(guān)心的優(yōu)化問題如下：

V_x? 和 V_y 分別為一個(gè)由規(guī)則推理得到的三元組。在上式的優(yōu)化問題中，算法需要學(xué)習(xí)的部分分為兩個(gè)：一個(gè)是規(guī)則的結(jié)構(gòu)，即一個(gè)規(guī)則是由哪些條件組合而成的；另一個(gè)是規(guī)則的置信度。由于每一條規(guī)則的置信度都是依賴于具體的規(guī)則形式，而規(guī)則結(jié)構(gòu)的組成也是一個(gè)離散化的過程，因此上式整體是不可微的。因此作者對(duì)前面的式子做了以下更改：

主要交換了連乘和累加的計(jì)算順序，對(duì)預(yù)一個(gè)關(guān)系的相關(guān)的規(guī)則，為每個(gè)關(guān)系在每個(gè)步驟都學(xué)習(xí)了一個(gè)權(quán)重，即上式的 a_l^k。其中 T 為超參，表示規(guī)則的長(zhǎng)度。由于上式固定了每個(gè)規(guī)則的長(zhǎng)度都為 T，這顯然是不合適的。為了能夠?qū)W習(xí)到變長(zhǎng)的規(guī)則，Neural LP中設(shè)計(jì)了記憶向量 u_t,表示每個(gè)步驟輸出的答案--每個(gè)實(shí)體作為答案的概率分布，還設(shè)計(jì)了兩個(gè)注意力向量：一個(gè)為記憶注意力向量 b_t ——表示在步驟 t 時(shí)對(duì)于之前每個(gè)步驟的注意力；一個(gè)為算子注意力向量 a_t ——表示在步驟 t 時(shí)對(duì)于每個(gè)關(guān)系算子的注意力。每個(gè)步驟的輸出由下面三個(gè)式子生成：

其中 a_t 和 b_t 基于一個(gè) RNN 生成，具體如下：

其中隱層變量 h_t 由一個(gè)LSTM生成。

本文還設(shè)計(jì)了一個(gè)根據(jù)訓(xùn)練結(jié)果解析規(guī)則的算法如下：

實(shí)驗(yàn)：

本文的實(shí)驗(yàn)相當(dāng)豐富，主要包括

（1）? 兩個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上的統(tǒng)計(jì)關(guān)系學(xué)習(xí)相關(guān)的實(shí)驗(yàn)

（2）? 在1616的網(wǎng)格上的路徑尋找的實(shí)驗(yàn)

（3）? 知識(shí)庫(kù)補(bǔ)全實(shí)驗(yàn)

為了證明Neural LP的歸納推理的能力，本文還特別設(shè)計(jì)了一個(gè)實(shí)驗(yàn)，在訓(xùn)練數(shù)據(jù)集中去掉所有涉及測(cè)試集中包含的實(shí)體的三元組，然后訓(xùn)練并預(yù)測(cè)，得到結(jié)果如下：

這個(gè)實(shí)驗(yàn)有效地證明了Neural LP的歸納推理的能力。

（4）? 知識(shí)庫(kù)問答的實(shí)驗(yàn)

總結(jié)

本文提出了一個(gè)可微的規(guī)則學(xué)習(xí)模型，并強(qiáng)調(diào)了知識(shí)庫(kù)中的規(guī)則應(yīng)該是實(shí)體無關(guān)的，非常值得借鑒。有興趣的讀者可以閱讀一下原文。

?

論文筆記整理：張文，浙江大學(xué)博士在讀，研究方向知識(shí)圖譜的分布式表示與推理。

?

---

OpenKG.CN

中文開放知識(shí)圖譜（簡(jiǎn)稱OpenKG.CN）旨在促進(jìn)中文知識(shí)圖譜數(shù)據(jù)的開放與互聯(lián)，促進(jìn)知識(shí)圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

轉(zhuǎn)載須知：轉(zhuǎn)載需注明來源“OpenKG.CN”、作者及原文鏈接。如需修改標(biāo)題，請(qǐng)注明原標(biāo)題。

?

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 博客。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | 用可微的逻辑规则学习完成知识库推理的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。