上期我們介紹了2020年知識圖譜最新權威綜述論文《A Survey on Knowledge Graphs: Representation, Acquisition and Applications》的知識表示學習部分，本期我們將一起學習這篇論文的知識圖譜補全部分。

論文地址：

https://arxiv.org/pdf/2002.00388.pdf?arxiv.org

?

由于知識圖譜的不完整性，知識圖譜補全可以用來向知識圖譜中添加新的三元組。典型的知識圖譜補全子任務包括鏈接預測，實體預測和關系預測。

對知識圖譜補全的主要研究集中于學習用于三元組預測的低維嵌入。但是，其中大多數未能捕捉多步關系。因此，最近的工作轉向探索多步關系路徑并結合邏輯規則，分別稱為關系路徑推斷和基于規則的推理。在本節中，還將對三元組分類作為知識圖譜補全的一項相關任務進行評估，該任務可評估事實三元組的正確性。

1. 基于嵌入的模型

以實體預測為例，如下圖所示的基于嵌入的排序方法，首先基于現有三元組學習嵌入向量，然后用每個實體替換尾實體或頭實體，以計算所有候選實體的得分，并對前k個實體進行排名。上一期提到的知識圖譜表示學習的方法（例如TransE，TransH，TransR，HolE和R-GCN等）和帶有文本信息的聯合學習方法（例如DKRL ）可用于知識圖譜補全。

與在統一嵌入空間中表示輸入和候選項不同，ProjE [65]提出了通過對輸入三元組的已知部分（即（h; r;？）或（？; r; t））進行空間投影的組合嵌入。包含神經組合層和輸出投影層的嵌入投影函數定義為：

其中，

是輸入實體-關系對的組合算子。以前的嵌入方法無法區分實體和關系預測，這里的ProjE不支持關系預測。現有方法在很大程度上依賴于知識圖譜中的現有連接，而無法捕捉具有少量連接的事實知識或實體的演變。ConMask可以選擇給定關系的相關摘要，以及基于CNN的目標融合，以完成帶有非觀測實體的知識圖譜補全。僅當在文本描述中明確表示查詢關系和實體時，它才能進行預測。這些方法都屬于判別式模型，其依賴于預先準備的實體對或文本語料庫。針對醫學領域，REMEDY提出了一種生成式模型，稱為條件關系變分自動編碼器，用于從潛在空間中發現實體對。

2. 關系路徑推理

實體和關系的嵌入學習在某些基準測試中取得了顯著的性能提升，但是它無法為復雜的關系路徑建模。關系路徑推理轉向在圖結構上利用路徑信息。隨機游走推理已被廣泛研究，例如，路徑排序算法（PRA）在路徑約束的組合下選擇關系路徑，并進行最大似然分類。Neelakantan等人開發了一個RNN模型，通過RNN來組合關系路徑的語義信息。Chain-of-Reasoning是一種支持多種推理的神經注意力機制，它代表所有關系，實體和文本的邏輯組成。最近，DIVA提出了一個統一的變分推理框架，該框架將多跳推理作為路徑查找和路徑推理的兩個子步驟。

3. 基于強化學習的路徑發現

通過將實體對之間的路徑搜索公式化表示為序列決策，特別是馬爾可夫決策過程（MDP），引入了深度強化學習（RL）用于多跳推理。基于策略的強化學習的agent通過知識圖譜環境之間的交互來學習找到關系的步驟，以擴展推理路徑，其中，策略梯度用于訓練agent。DeepPath首先將強化學習應用于關系路徑學習中，并開發了一種新穎的獎勵功能來提高準確性，路徑多樣性和路徑效率。它通過翻譯嵌入方法對連續空間中的狀態進行編碼，并將關系空間作為其動作空間。類似地，MINERVA通過最大化期望的獎勵，將走到正確答案實體的路徑作為一個順序優化問題。它排除了目標答案實體，并提供了更強大的推理能力。代替使用二進制獎勵函數，Multi-Hop提出了一種軟獎勵機制。為了實現更有效的路徑探索，在訓練過程中還采用了動作缺失來遮蓋某些向外的邊緣。M-Walk應用RNN控制器捕捉歷史軌跡，并使用蒙特卡羅樹搜索（MCTS）生成有效路徑。通過利用文本語料庫和當前實體的句子袋，CPL提出了協同策略學習，用于從文本中查找路徑和提取事實。這些方法的MDP環境和策略網絡匯總在下表中，其中MINERVA，M-Walk和CPL使用二進制獎勵。對于策略網絡，DeepPath使用全連接網絡，CPL的提取器使用CNN，其余的使用循環網絡。

4. 基于規則的推理

為了更好地利用知識的符號特性，知識圖譜補全的另一個研究方向是邏輯規則學習。規則由規則頭和規則體的形式定義。規則頭是一個原子，即具有可變的主題和/或對象的事實，而規則體可以是一組原子。例如，給定關系sonOf，hasChild和sex以及實體X和Y，存在邏輯編程相反形式的規則，如：（Y; sonOf; X）<=（X; hasChild; Y）^（Y;性別;男）。可以通過例如AMIE的規則挖掘工具來提取邏輯規則。最近的RLvLR提出了一種可擴展的規則挖掘方法，并將提取的規則用于鏈接預測。

越來越多的研究注意力集中在將邏輯規則注入到知識圖譜嵌入中以提高推理能力，同時應用聯合學習或迭代訓練來合并一階邏輯規則。例如，KALE提出了一個統一的聯合模型，其中定義了用于兼容三元組和邏輯規則嵌入的模模糊邏輯連接詞。具體來說，定義了邏輯合取，析取和取反的三個組成部分，以構成復數公式的真值。下圖給出了一個簡單的一階Horn子句推斷。 RUGE提出了一種迭代模型，其中將軟規則用于從未標記的三元組和已標記的三元組進行軟標簽預測，以進行嵌入校正。IterE提出了一種迭代訓練策略，其中包括嵌入學習，公理歸納和公理注入三部分。

神經模型和符號模型的結合也越來越引起人們的注意，以端到端的方式進行基于規則的推理。神經定理證明（NTP）學習用于多跳推理的邏輯規則，該規則利用徑向基函數核對向量空間進行微分計算。NeuralLP使基于梯度的優化可應用于歸納邏輯編程中，其中通過集成注意力機制和輔助存儲器來提出神經控制器系統。pLogicNet提出了概率邏輯神經網絡，以利用一階邏輯并通過結合馬爾可夫邏輯網和知識圖譜表示學習方法的優勢來學習有效的嵌入，同時處理邏輯規則的不確定性。ExpressGNN通過調整圖網絡和嵌入來概括pLogicNet，并取得更有效的邏輯推理。

5. 元關系推理

知識圖譜的關系中存在長尾現象，同時，現實世界中的知識場景是動態的，通常會存在一些不可觀測的三元組。新的一種情況是元關系學習或小樣本學習，它要求模型僅用很少的樣本來預測新的關系事實。GMatching開發了一種基于度量的帶有實體嵌入和局部圖結構的小樣本學習方法。它使用R-GCN對單跳鄰居進行編碼以捕獲結構信息，然后在長短期記憶（LSTM）網絡的引導下，將結構實體嵌入進行多步匹配，以計算相似性得分。Meta-KGR是一種基于優化的元學習方法，采用元學習進行快速自適應，并采用強化學習進行實體搜索和路徑推理。受基于模型和基于優化的元學習的啟發，MetaR將特定于關系的元信息從支持集傳輸到查詢集，并通過高階關系表示的loss梯度實現快速適應。

6. 三元組分類

三元組分類是為了確定測試數據中的事實是否正確，這個任務通常被視為二分類問題。前述的嵌入方法可以應用于三元組分類，包括基于翻譯距離的方法（例如TransH和TransR）以及基于語義匹配的方法（例如NTN，HolE和ANALOGY）。

?

后期，我們還會對這篇綜述的其它部分進行解讀。

?

往期精選：

對知識圖譜的告白：斯坦福大學CS520課程介紹

知識圖譜最新權威綜述論文解讀：知識表示學習部分

手把手教你搭建一個中式菜譜知識圖譜可視化系統

?

如果對文章感興趣歡迎關注知乎專欄“人工智能遇上知識圖譜“，也歡迎關注同名微信公眾號“人工智能遇上知識圖譜”，讓我們一起學習并交流討論人工智能與知識圖譜技術。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

總結

以上是生活随笔為你收集整理的知识图谱最新权威综述论文解读：知识图谱补全部分的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。