鏈接：https://arxiv.org/pdf/1705.02426.pdf

?

本文的主要創新點就是把類比推理應用到 KG embedding 中，通過對模型的 score function 添加某些約束來捕獲 KG 中類比結構的信息，進而優化 KG 中實體和關系的 embedding 表示，并在 FB15K 和 WN18 數據集上達到 state-of -the-art 性能。

Analogical Structure

什么是類比結構？以 word embedding中最著名的一句話為例，man is to king as woman is to queen，用 abcd 分別表示 man, king, woman, queen 四個實體，用 r 和 r' 表示 crown 和 male->female 關系，這就可以得到四個三元組

可視化一下，就可以得到一個平行四邊形結構，捕獲這個結構的信息也就是本文的 motivation，且更復雜的類比結構的基本組成單元就是這個平行四邊形結構。

對于線性映射來說，一個理想的特性，就是所有有相同起點和終點的有向圖，都形成了所謂的compositional equivalence，在上圖中就是，且若關系集合R中任意兩個關系都滿足compositionalequivalence，則稱R是一個commutingfamily。

Method

本文將關系 r 視為線性映射，即給定三元組 (s,r,o)，作者希望對于所有有效的三元組，都能滿足，滿足的程度就用一個 score function 表示，模型的目標就是學到恰當的 v 和 W，來讓這個 score function 給有效的三元組高分，無效的三元組低分。為什么用線性映射而不用transE那樣的加法映射呢？作者的看法是，用矩陣定義的線性映射表達能力比用向量定義的加法映射更強。

為了捕獲 KG 中類比結構的信息，本文在objective function上加入了 Normal Matrix 和 compositional equivalence 的約束，而后者就是，即在線性映射上的具體實現，最后得到的 objective function 就是

Why Normal Matrix

引理1，對于任意實正規矩陣 A，存在一個實正交矩陣 Q 和分塊對角矩陣 B，滿足 A=QBQ^T，其中 B 的每個對角塊要么是個實數，要么是個2維實矩陣，x 和 y都是實數。這個引理表明任意一個實正規矩陣都可以分塊對角化。

引理2，若一系列實正規矩陣組成了一個 commuting family，那么它們可以用同一個 Q 分塊對角化。這個引理表明，若一個稠密關系矩陣集合｛W_r｝相互可交換，那么就可以同時被分塊對角化成一個稀疏矩陣集合｛B_r｝。

結合以上兩個性質，可以對 score function 進行推導，過程如下

即對于任意目標函數7的解 (v*,W*) ，都有對應的 (u*,B*) 滿足

目標函數簡化成了這個樣子，其中 B表示對角線上有n個實數的m階對角方陣。

Unified View of Representative Methods

作者也證明了本文模型是 unified method，以 DistMult為例，它的 score func 如

實際上這就是 n=m 的ANALOGY版本，其中。

Experiments

實驗用的數據集是FB15K和WN18，作者用了19個baseline做對比，metrics用的也是常用的MRR和Hits@k。由下表可以知道FB15K的關系數非常多，因此對其建模也更難，KG中包含的類比結構也更多，而在這個數據集上，ANALOGY的表現超過了所有baseline模型，這證明了捕獲類比結構信息的作用。

而下圖則表明在所有指標上，ANALOGY的表現都超過了 DistMult,ComplEx和HolE，且這三個是ANALOGY的特例。

論文筆記整理：汪寒，浙江大學碩士，研究方向為知識圖譜，自然語言處理。

---

OpenKG.CN

中文開放知識圖譜（簡稱OpenKG.CN）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 博客。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的论文浅尝 | 利用类比推理优化知识图谱向量表示的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。