论文浅尝 | 神经符号推理综述（下）
筆記整理 |?許澤眾，浙江大學(xué)在讀博士
3、神經(jīng)驅(qū)動(dòng)的符號(hào)推理
相比于之前的兩種類型，神經(jīng)驅(qū)動(dòng)的符號(hào)推理的目的是挖掘規(guī)則，而神經(jīng)網(wǎng)絡(luò)在其中扮演的作用是解決純符號(hào)推理的不確定性，并且能夠有效的減少搜索空間。這種類型的方法的基本思路是找到query的多跳鄰居節(jié)點(diǎn)，然后根據(jù)概率從這些鄰居節(jié)點(diǎn)中選擇正確的答案。這類方法大致可以分為三類，基于路徑的、基于圖的和基于矩陣的。
3.1、基于路徑的神經(jīng)符號(hào)推理
如圖是基于路徑方法的基本方式，在每一步上都會(huì)選擇一個(gè)可能的路徑。
這一類的方法的較早嘗試是Path-Ranking Algorithm(PRA)，需要注意的是這個(gè)方法是純symbolic的，但是其余方法大多借鑒了這個(gè)方法，所以先簡(jiǎn)要介紹一下這個(gè)方法。 核心思想是利用連接兩個(gè)實(shí)體的路徑去預(yù)測(cè)他們之間是否有潛在的關(guān)系。但是每條路徑的重要程度不同，所以需要對(duì)每條路徑的分配合適的權(quán)重。
給定頭實(shí)體h和尾實(shí)體t，PRA通過執(zhí)行具有l(wèi)步長(zhǎng)的重啟算法的隨機(jī)游走來獲得從h到t的長(zhǎng)度為l的路徑，然后計(jì)算實(shí)體對(duì)（h ，t）遵循路徑p時(shí)候的得分。最后，PRA通過將不同路徑的分?jǐn)?shù)作為對(duì)應(yīng)特征值的線性回歸模型來估計(jì)不同路徑的權(quán)重。
PRA依賴KG中存在的關(guān)系來尋找路徑，下面兩篇文章就是通過不同的方式來添加KG中的關(guān)系，分別是利用web的文本信息和語義庫中的單詞來補(bǔ)充KG中的關(guān)系。
Reading the web with learned syntactic-semantic inference rules.
Improving learning and inference in a large knowledge-base using latent syntactic cues.
以上的文章只能處理見過的關(guān)系，同時(shí)算法中的路徑生成，是針對(duì)每一種關(guān)系的，所以針對(duì)不同的關(guān)系，需要訓(xùn)練不同的模型分別計(jì)算每種關(guān)系對(duì)應(yīng)的多條路徑的權(quán)重，那么很明顯這種方式的局限性是比較大的。
于是Compositional vector space models for knowledge base inference提出用一個(gè)RNN模型來融合路徑上的不同關(guān)系。使用了PRA來挖掘各種路徑。找到這樣的路徑以后呢，使用RNN來將在這條路徑中出現(xiàn)的關(guān)系的embedding融合起來，然后讓融合以后的embedding更像head relation。比如這個(gè)例子里面的就是融合了一條路徑的embedding。這里的embedding都是隨機(jī)初始化的。這種方法的相較于PRA，泛化性更強(qiáng)，它能夠處理沒有見過的路徑，也能處理訓(xùn)練時(shí)沒有將該關(guān)系作為head relation的推理。
另外一種方法Chain-of-Reasoning，相比于上面的方法，他在處理路徑embedding的時(shí)候，將不同的路徑信息融合了起來，沒有僅僅使用上面的做法，即只使用了一條路徑，而考慮了多條路徑，并且融合路徑的方式也有很多種方式。
以上的方法都需要遍歷路徑，當(dāng)圖譜較大的時(shí)候，這種路徑會(huì)非常非常多，而上述方法沒有對(duì)路徑進(jìn)行評(píng)估，所以搜索空間很大。DeepPath使用了強(qiáng)化學(xué)習(xí)的方法來完成這件事。
基本思想是將推理過程建模為馬爾可夫決策過程，和agent交互的環(huán)境狀態(tài)是由當(dāng)前節(jié)點(diǎn)的embedding和目標(biāo)embedding來構(gòu)成的。它的獎(jiǎng)勵(lì)函數(shù)是手工設(shè)計(jì)的，考慮了不同的方面，另外，一開始使用了監(jiān)督學(xué)習(xí)預(yù)訓(xùn)練防止搜索空間過大。
DeepPath 首次將強(qiáng)化學(xué)習(xí)方法引入到知識(shí)圖譜推理中，它對(duì)知識(shí)圖譜進(jìn)行簡(jiǎn)單的采樣，訓(xùn)練策略網(wǎng)絡(luò)；并通過手工設(shè)計(jì)的獎(jiǎng)勵(lì)函數(shù)對(duì)策略網(wǎng)絡(luò)進(jìn)行再訓(xùn)練。DeepPath 的主要任務(wù)是給定一個(gè)知識(shí)圖譜中的實(shí)體對(duì) (entity1, entity2)，使模型推理從 entity1 到 entity2 的路徑評(píng)估模型的主要任務(wù)是鏈接預(yù)測(cè)和事實(shí)預(yù)測(cè)。DeepPath 中存在一定問題。例如，它的獎(jiǎng)勵(lì)函數(shù)是手工設(shè)定的，這種手工設(shè)定的策略可能并不是最優(yōu)的，并且針對(duì)不同的數(shù)據(jù)集可能需要不同的設(shè)置；它的采樣方法可能導(dǎo)致策略網(wǎng)絡(luò)出現(xiàn)過擬合現(xiàn)象；強(qiáng)化學(xué)習(xí)環(huán)境中的狀態(tài)使用 TransE 簡(jiǎn)單地進(jìn)行表示，表征能力可能不足。
AnyBURL在使用強(qiáng)化學(xué)習(xí)完成路徑抽取以后，會(huì)將其抽象成具體的路徑，并且決定生成的不同規(guī)則中哪些是置信度高的規(guī)則，以下是一個(gè)根據(jù)路徑抽象出規(guī)則的例子：
其余的強(qiáng)化學(xué)習(xí)方法例如MINERVA解決了其他的一些問題，Deeppath完成的是給定實(shí)體對(duì)從而推導(dǎo)實(shí)體之間的關(guān)系路徑，而不能在給定頭實(shí)體和關(guān)系的情況下推導(dǎo)出尾實(shí)體。MINERVA定義state的時(shí)候，沒有使用answer的embedding，所以這里可以給定頭實(shí)體和關(guān)系來查找答案，使用hard reward來作為激勵(lì)。
Mutil-hop使用了相似度來代替hard reward。同時(shí)受到drop-out的啟發(fā)，在選擇過程中mask了一部分的選擇來防止過擬合。
CPL在選擇的時(shí)候除了考慮了KG中的信息，還考慮了文本庫中的信息。
3.2、基于路徑的神經(jīng)符號(hào)推理
基于圖的推理，GraIL利用圖神經(jīng)網(wǎng)絡(luò)從抽取的子圖中來推理。基本步驟如圖，首先抽取head和tail周圍的k跳鄰居節(jié)點(diǎn)，然后對(duì)于每個(gè)鄰居節(jié)點(diǎn)，用一個(gè)tuple來表示其特征，其中有兩個(gè)元素，代表該節(jié)點(diǎn)到head和tail的距離。
這里借鑒了R -GCN的方法來建模對(duì)多關(guān)系圖的消息傳遞，區(qū)別在于增加了一個(gè)注意力機(jī)制，該注意力機(jī)制不僅僅和兩個(gè)相鄰節(jié)點(diǎn)以及它們之間的關(guān)系有關(guān)，也和需要被預(yù)測(cè)的目標(biāo)關(guān)系有關(guān)。最終利用兩個(gè)目標(biāo)節(jié)點(diǎn)的表示，整個(gè)圖的表示，以及被預(yù)測(cè)被預(yù)測(cè)關(guān)系的表示，對(duì)該目標(biāo)節(jié)點(diǎn)之間具有該目標(biāo)關(guān)系進(jìn)行打分，得分最高的目標(biāo)關(guān)系為被預(yù)測(cè)關(guān)系。個(gè)人感覺這種方法的symbolic的成分比較少。
DPMPN提出基于動(dòng)態(tài)子圖的方法，將顯示推理技術(shù)與圖神經(jīng)網(wǎng)絡(luò)有效融合，開發(fā)出圖版的注意力機(jī)制，用于引導(dǎo)動(dòng)態(tài)剪枝的子圖構(gòu)建過程。其設(shè)計(jì)出兩層圖神經(jīng)網(wǎng)絡(luò)架構(gòu)，下層是基于全圖隨機(jī)抽樣的圖神經(jīng)網(wǎng)絡(luò)，上層是基于批輸入多子圖的圖神經(jīng)網(wǎng)絡(luò)，連接兩個(gè)圖神經(jīng)網(wǎng)絡(luò)層并指導(dǎo)子圖構(gòu)建的是一種圖版的注意機(jī)制，更準(zhǔn)確的說，是一種注意力轉(zhuǎn)移機(jī)制（Attention Transition Mechanism）。深度學(xué)習(xí)網(wǎng)絡(luò)通常是一個(gè)超大的網(wǎng)絡(luò)，動(dòng)用大量的計(jì)算節(jié)點(diǎn)及上百萬的參數(shù)，但是針對(duì)每一個(gè)具體的例子，人類通常只用很少若干點(diǎn)來作解釋，大量非必要的信息被過濾掉。我們看到的解釋部分，實(shí)際反映的是我們的意識(shí)狀態(tài)，它是從下層的潛意識(shí)全狀態(tài)中通過某種篩選機(jī)制自動(dòng)涌現(xiàn)出的可自我識(shí)別的特征，即解釋，并通過主觀的有序組合形成我們的推理過程，讓我們能夠從紛繁復(fù)雜的信息中迅速捕捉到最相關(guān)特征，大大降低后續(xù)作顯式推理所需的計(jì)算復(fù)雜度。
3.3、基于矩陣的神經(jīng)符號(hào)推理
基于矩陣的推理源于tensorlog框架，但是真正將其有效利用的當(dāng)屬neural-LP。
在tensorlog框架中，實(shí)體使用onehot向量表示，每一種關(guān)系都使用鄰接矩陣表示，那么一個(gè)head relation所對(duì)應(yīng)的若干條關(guān)系可以表示成如下形式：
本質(zhì)上是通過矩陣來找到需要預(yù)測(cè)的triplet的不同層的鄰居節(jié)點(diǎn)，并且對(duì)于每條規(guī)則有的不同置信度來選擇概率最大的實(shí)體作為結(jié)果。但是這個(gè)框架本身的問題在于搜索空間過大，并且及其耗時(shí)。
于是Neural-LP將上面的式子改寫為：
本質(zhì)上是在規(guī)定了規(guī)則長(zhǎng)度以后，在每一步上都給所有的關(guān)系分配一個(gè)的權(quán)重，這樣最后的結(jié)果向量實(shí)際上是得到了head entity的T跳鄰居節(jié)點(diǎn)，只不過每一個(gè)的權(quán)重不同，最后選擇權(quán)重最大的作為預(yù)測(cè)結(jié)果。這個(gè)方法將tensorLog中離散的過程轉(zhuǎn)為了可微的過程，并且通過端到端的框架直接學(xué)習(xí)到了規(guī)則。
DRUM的核心思想與Neural-LP一致，只是加了一些trick來使得尋來呢更加簡(jiǎn)單。
NLIL則注重于挖掘形式更加豐富的規(guī)則：
Neural-Num-LP則通過設(shè)計(jì)以下算子使得neural-LP框架能夠?qū)W習(xí)到包含數(shù)值對(duì)比的規(guī)則。
總結(jié)
以下是這篇文章中提到的神經(jīng)符號(hào)推理的所有模型和方法。總體而言，第一種神經(jīng)符號(hào)推理，即符號(hào)驅(qū)動(dòng)的神經(jīng)推理，旨在學(xué)習(xí)實(shí)體和關(guān)系的嵌入。利用邏輯規(guī)則增加高置信度三元組的個(gè)數(shù)，提高embedding的效果。因此推理過程仍然是基于embedding的，這缺乏可解釋性。第二類，即符號(hào)驅(qū)動(dòng)的概率推理，通過以KGs為基礎(chǔ)的規(guī)則來限定邏輯規(guī)則。隨著KGs中實(shí)體和關(guān)系的增加，基礎(chǔ)原子/規(guī)則將急劇增加，從而導(dǎo)致推理和學(xué)習(xí)的計(jì)算成本增加。此外，這些方法不會(huì)產(chǎn)生新的規(guī)則。以上兩種方法都以答案預(yù)測(cè)為唯一目標(biāo)。不同的是，在符號(hào)驅(qū)動(dòng)的概率推理中，規(guī)則被用來作為預(yù)測(cè)答案的特征，而在符號(hào)驅(qū)動(dòng)的神經(jīng)推理中，規(guī)則被用來生成更多的事實(shí)。第三種，即神經(jīng)驅(qū)動(dòng)的符號(hào)推理，以答案預(yù)測(cè)和規(guī)則學(xué)習(xí)為目標(biāo)。為了達(dá)到這一目的，它根據(jù)從頭部實(shí)體開始的路徑、圖形或矩陣來推斷答案，從而增強(qiáng)了預(yù)測(cè)答案的可讀性。然而，隨著跳數(shù)的增加，路徑、子圖或矩陣乘法變得更加復(fù)雜，使得預(yù)測(cè)性能對(duì)知識(shí)圖的稀疏性更加敏感。
?
?
OpenKG
OpenKG（中文開放知識(shí)圖譜）旨在推動(dòng)以中文為核心的知識(shí)圖譜數(shù)據(jù)的開放、互聯(lián)及眾包，并促進(jìn)知識(shí)圖譜算法、工具及平臺(tái)的開源開放。
點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 網(wǎng)站。
總結(jié)
以上是生活随笔為你收集整理的论文浅尝 | 神经符号推理综述（下）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 开放开源 | DeepKE：基于深度学习
- 下一篇： 我对JVM的理解