论文浅尝 | 基于对抗学习的弱监督知识图谱对齐
論文筆記整理:郭凌冰,浙江大學研究助理,研究方向為知識圖譜的表示學習。
絕大部分現有的知識圖譜對齊方法都要求足夠的已對齊三元組作為監督數據,但在現實世界中,獲取大量的對齊三元組的代價十分高昂。本文提出一種同時適用于全監督或者弱監督知識圖譜對齊的方法,其通過一種基于對抗學習的框架(KAGAN)來對齊不同知識圖譜中實體和關系的嵌入表示:
本文首先定義了由源知識圖譜的實體(或關系)到目標知識圖譜的實體(或關系)的概率:
,
其中為溫度參數,,為線性投影矩陣,用于將對應的源知識圖譜實體或關系的嵌入表示投影到目標知識圖譜空間進行距離比較。
接著,本文在此基礎上又定義了由源知識圖譜的三元組到目標知識圖譜的三元組的概率:
上述公式通過將對應三元組內的頭實體,關系,尾實體間的概率相乘得到最終三元組間對齊的概率。
之后利用全概率公式可以得到一個目標三元組的概率分布:
因此,通過訓練一個判別器來使得上述對齊函數生成的三元組盡可能接近目標知識圖譜中的真實三元組分布:
其中均為多層神經網絡用于評估樣本得分,其最終的判別器損失函數為:
由于利用所采樣得到的對抗樣本是離散的,因此需要通過構建反饋函數來更新生成器部分的梯度:
為了避免源知識圖譜中的多個實體對齊到同一個目標知識圖譜中的實體(即對抗模型中普遍存在的模型崩塌問題),本文還提出了一種最大化對齊實體與源知識圖譜實體之間互信息的正則方法:
在實驗部分,本文驗證了所提出的模型能在多個數據集上取得領先的結果:
并通過消融實驗進一步驗證了各模塊的有效性:
從表3可以看出,基于互信息最大化的正則方法能夠有效提升模型的性能。
從表4可以看出,單獨使用對抗學習的方法要優于基于隨機采樣的方法,而兩者的結合并不能進一步提升性能。
最后,本文還探討了不同的預訓練知識圖譜嵌入模型以及不同的反饋函數對于結果的影響,結果如表5和表6所示。
歡迎有興趣的同學閱讀原文。
?
?
OpenKG
開放知識圖譜(簡稱 OpenKG)旨在促進中文知識圖譜數據的開放與互聯,促進知識圖譜和語義技術的普及和廣泛應用。
點擊閱讀原文,進入 OpenKG 博客。
總結
以上是生活随笔為你收集整理的论文浅尝 | 基于对抗学习的弱监督知识图谱对齐的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 论文浅尝 | 改善多语言KGQA的 Ze
- 下一篇: 论文浅尝 | 为基于知识库的问答构建形式