論文筆記整理：許澤眾，浙江大學(xué)博士研究生。研究方向：知識圖譜，規(guī)則挖掘等。

---

論文鏈接：https://openreview.net/pdf?id=rJleKgrKwS

本文解決的是規(guī)則的學(xué)習(xí)問題，學(xué)習(xí)出來的規(guī)則可用于知識推理任務(wù)，例如鏈接預(yù)測等。

KG上的規(guī)則捕獲了數(shù)據(jù)中可解釋的模式，并且可以用于KG的清洗和補(bǔ)全。

可微邏輯框架TensorLog將規(guī)則推理編譯成了可微的操作序列。受TensorLog的啟發(fā)，Neural LP方法可用于學(xué)習(xí)參數(shù)和規(guī)則的結(jié)構(gòu)。然而，它在處理age, weight, scicentific measurements等數(shù)字特征方面受限。本文提出Neural LP的擴(kuò)展，可實(shí)現(xiàn)對數(shù)值規(guī)則的快速學(xué)習(xí)。在通用的Neural LP方法中，數(shù)值規(guī)則會導(dǎo)致稠密的矩陣操作，使用動態(tài)規(guī)劃和累積求和運(yùn)算，有效地表達(dá)了用于數(shù)值比較的操作符。同時作者還設(shè)計了否定、聚合等操作符，總體上使得規(guī)則形式更加豐富。

最后在多個KG數(shù)據(jù)集上進(jìn)行了實(shí)驗，證明了本文的方法和Neural LP方法相比，可以更準(zhǔn)確地回答queries，并且比state-of-the-art的規(guī)則抽取方法準(zhǔn)確率更高。在兩個合成的真實(shí)數(shù)據(jù)集上進(jìn)行了實(shí)驗，證明了本文的方法可以依賴于數(shù)值信息更準(zhǔn)確地恢復(fù)出規(guī)則，以實(shí)現(xiàn)在KG上進(jìn)行更精準(zhǔn)的鏈接預(yù)測。和純圖嵌入方法不同的是，本文的方法抽取出的規(guī)則仍然具有可解釋性。

考慮圖中所示的KG和如下的規(guī)則：

這個規(guī)則表示學(xué)生受有較高引用量的導(dǎo)師的同事的影響。

原始的Neural LP框架不能直接支持有數(shù)值的事實(shí)：簡單的做法是將數(shù)值常量作為實(shí)體，但這將會非常難以處理，因為各自矩陣中非零的元素值非常非常多。類似地，樸素的處理否定原子的操作會引入操作不可行的稠密矩陣。

本文方法的主要思想是：隱式地表示必要的矩陣操作，可以使用動態(tài)規(guī)劃、累積求和和排列（用于數(shù)值比較特征），也可以使用低秩分解（用于否定原子）。所謂隱式操作就是指不需要完全重現(xiàn)操作符的具體數(shù)據(jù)，只需要能夠得到操作符和向量相乘得到的結(jié)果即可。作者設(shè)計了以下操作符：

（1）Pair-wise Comparison

這一矩陣是針對KG上所有包含p , q實(shí)體對的，因此通常是稠密的，因此樸素的具體化將超過GPU內(nèi)存的限制。而且，在現(xiàn)實(shí)中通常不需要明確地具體化TensorLog的關(guān)系矩陣。上面提到的Neural LP推理鏈中，所需要做的就是有效地計算關(guān)系矩陣和表示推理鏈中當(dāng)前概率的某個向量之間的matrix-vector積，這就是隱式的意思：

考慮到特殊的情況：p和q都以升序進(jìn)行排列:

γ值可以預(yù)先在CPU上進(jìn)行計算，使用動態(tài)規(guī)劃可以實(shí)現(xiàn)線性的復(fù)雜度。

考慮一般的情況，也就是p , q沒有進(jìn)行排序：

（2）分類操作符

作者也考慮到了更多的一般規(guī)則，在這種規(guī)則中，不一定非要對實(shí)體的兩個數(shù)值屬性間進(jìn)行比較，也可以對這些屬性的functions進(jìn)行比較。通過在之上施加聚合函數(shù) F 去達(dá)到多個屬性操作聚合作用的效果，例如下面一條邏輯表達(dá)式：

其中 F 代表的聚合操作就是由兩種基礎(chǔ)的屬性比較操作的某種聯(lián)合作用，聚合函數(shù)可用任意的神經(jīng)網(wǎng)絡(luò)來替換，文中使用了簡單的MLP。

（3）否定操作符（Negated Operators）

使用了局部封閉世界的假設(shè)（local closed-world assumption），因為封閉世界假設(shè)不符合KG的使用場景，開放世界假設(shè)對操作符取反之后全為0沒有意義。對于給定的操作符矩陣M，對那些要被翻轉(zhuǎn)的元素進(jìn)行了限制，即要被翻轉(zhuǎn)的元素所在的行至少要有一個非零元素。

實(shí)驗部分如下：

1、數(shù)據(jù)集

2、實(shí)驗任務(wù)：鏈接預(yù)測

3、對比方法

本文的方法稱為Neural-Num-LP，和以下兩個baselines進(jìn)行對比：

• AnyBURL：用于學(xué)習(xí)Horn規(guī)則的自底向上的方法（Horn規(guī)則：例如只有positive atoms沒有比較操作符的規(guī)則）；
  

• Neural-LP：可微的規(guī)則學(xué)習(xí)系統(tǒng)。

4、實(shí)驗結(jié)果

本文的方法和baselines對比的實(shí)驗結(jié)果：

實(shí)驗結(jié)果可以看出，本文基于Neural-LP拓展出的方法Neural-Num-LP在自造的數(shù)據(jù)集上，達(dá)到了一種很好的效果，而另外倆個相關(guān)的baseline因為沒有加入數(shù)值推理的邏輯，所以效果不行；同時，在倆個標(biāo)準(zhǔn)知識圖譜上，Neural-Num-LP也能達(dá)到一個較好的效果，體現(xiàn)出框架的一方面很好的保存了關(guān)系推理的功能，又較好的建模了數(shù)值推理的邏輯。

總體而言，本文設(shè)計了多種操作符，豐富了規(guī)則形式，尤其是支持?jǐn)?shù)值型規(guī)則的可謂學(xué)習(xí)，但是每種操作符都有一定的限制。比較操作符只能比較規(guī)則中相鄰的實(shí)體的數(shù)值，否定操作符本身的部分封閉世界假設(shè)本身相比開放世界假設(shè)是有限制的，聚合操作符實(shí)際減弱了規(guī)則的可解釋性。

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進(jìn)中文知識圖譜數(shù)據(jù)的開放與互聯(lián)，促進(jìn)知識圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 網(wǎng)站。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 - ICLR2020 | 知识图谱中数值规则的可微学习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。