鏈接：https://arxiv.org/pdf/1707.01476.pdf

本文主要關注 KG Link prediction 問題，提出了一種多層卷積神經網絡模型 ConvE，主要優點就是參數利用率高（相同表現下參數是 DistMult 的8分之一，R-GCN 的 17 分之一），擅長學習有復雜結構的 KG，并利用 1-N scoring 來加速訓練和極大加速測試過程。

Background

一個 KG 可以用一個集合的三元組表示 G={(s,r,o)}，而 link prediction 的任務是學習一個scoring function \psi(x)，即給定一個三元組 x=(s,r,o) ，它的 score \psi(x) 正于與x是真的的可能性。

Model ConvE

這是 ConvE 的整體結構，把輸入的實體關系二元組的 embedding reshape 成一個矩陣，并將其看成是一個 image 用卷積核提取特征，這個模型最耗時的部分就是卷積計算部分，為了加快 feed-forward 速度，作者在最后把二元組的特征與 KG 中所有實體的 embedding 進行點積，同時計算 N 個三元組的 score（即1-N scoring），這樣可以極大地減少計算時間，實驗結果顯示，KG 中的實體個數從 100k 增加到 1000k，計算時間也只是增加了 25%。

ConvE 的 scoring function

Loss function 就是一個經典的cross entropy loss

Test Set Leakage Problem

WN18 和 FB15k 都有嚴重的 test set leakage problem，即測試集中的三元組可以通過翻轉訓練集中的三元組得到，舉個例子，測試集中有(feline,hyponym, cat)而訓練集中有 (cat,hypernym, feline)，這個問題的存在導致用一個很簡單的 rule-based 模型就可以在某些數據集上實現 state-of-the-art 性能。作者構造了一個簡單的 rule-based inverse model 來衡量這個問題的嚴重性，并利用消去了 inverse relation 的數據集 WN18RR 和 FB15k-237 來進行實驗，實驗結果如下

論文筆記整理：汪寒，浙江大學碩士，研究方向為知識圖譜，自然語言處理。

?

---

OpenKG.CN

中文開放知識圖譜（簡稱OpenKG.CN）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

轉載須知：轉載需注明來源“OpenKG.CN”、作者及原文鏈接。如需修改標題，請注明原標題。

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 | 二维卷积知识图谱嵌入的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。