鏈接：https://arxiv.org/pdf/1809.01341.pdf

動機（摘要）

?????? 當前的知識庫補全的方法主要是將實體和關系嵌入到一個低維的向量空間，但是卻只利用了知識庫中的三元組結構 (<s,r,o>) 數據，而忽略了知識庫中大量存在的文本，圖片和數值信息。本文將三元組以及多模態數據一起嵌入到向量空間，不僅能夠使鏈接預測更加準確，而且還能產生知識庫中實體缺失的多模態數據。

亮點

通過不同的 encoders，將多模態數據嵌入成低維向量做鏈接預測

通過不同的 decoders，能夠產生實體缺失的多模態數據

模型

1 ?多模態數據的嵌入：

（1） 結構化數據：對于知識庫中的實體，將他們的one-hot編碼通過一個denselayer得到它們的embedding

（2） 文本：對于那些很短的文本，比如名字和標題，利用雙向的GRUs編碼字符；對于那些相對長的文本，通過CNN在詞向量上卷積和池化得到最終編碼。

（3） 圖片：利用在ImageNet上預訓練好的VGG網絡，得到圖片的embedding

（4） 數值信息：全連接網絡，即通過一個從的映射，獲得數值的embedding

（5） 訓練：目標函數（cross-entropy）：

其中：t^(s,r) 是一個one-hot向量。如果知識庫中存在 <s, r, o> 這個三元組，t_o^(s,r) 值為1，否則 t_o^(s,r) 值為0。

p_o^(s,r)是 <s, r, o> 模型預測出來的這個三元組成立的概率，它的值介于0到1之間。

2 ?解碼多模態數據：

（1） 數值和類別信息：利用一個全連接網絡，輸入是已經訓練好的向量，輸出是數值和類別，損失函數是RMSE（數值）或者cross-entropy（類別）

（2） 文本：利用ARAE模型，輸入是訓練好的連續向量，輸出是文本

（3） 圖片：利用GAN模型來產生圖片

?

實驗

?????? 本文作者在 MovieLens-100k 和 YAGO-10 兩個數據集上面引入了多模態數據，其中 MovieLens-100k 引入了用戶信息文本，電影信息文本，電影海報；YAGO-10 也為實體引進了圖片，文本，數值等信息。

1 ?鏈接預測：可以看到在引入了實體文本描述，圖片和數值之后，利用之前的嵌入模型，達到了SOTA的效果

???????????

2 ?生成多模態數據：可以看到，引入了多模態數據之后，產生出來的文本和圖片的質量比起僅僅依靠知識庫原本就存在的三元組信息產生的文本和圖片的質量要高。

???????????

總結

??????? 本文的創新點是引入了多模態數據來做知識庫中的鏈接預測和生成實體缺失的多模態數據。但是不足之處在于不知道到底引入的哪一部分多模態數據對最終的鏈接預測產生提升，以及產生的多模態數據質量不是很理想。這有待于后續工作的改進。

?

論文筆記整理：康矯健，浙江大學碩士，研究方向為知識圖譜、自然語言處理。

?

---

OpenKG.CN

中文開放知識圖譜（簡稱OpenKG.CN）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

轉載須知：轉載需注明來源“OpenKG.CN”、作者及原文鏈接。如需修改標題，請注明原標題。

?

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 | 基于多模态关联数据嵌入的知识库补全的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。