論文筆記整理：王琰，東南大學碩士。

---

來源：CIKM 2020

鏈接：https://doi.org/10.1145/3340531.3411947

研究背景與任務描述

為了解決推薦系統中的數據稀疏和冷啟動問題，研究人員通過利用有價值的外部知識作為輔助信息，提出了基于知識圖（KGs）的推薦。但是，以往大多數工作都忽略了多模態知識圖譜（MMKG）中的各種數據類型（例如，文本和圖像）。因此作者提出了多模態知識圖譜注意力網絡（MKGAT），以通過利用多模態知識來提高推薦系統的推薦效果。

多模態知識圖譜表示學習有兩種類型：基于特征的方法和基于實體的方法。

基于特征的方法將模態信息視為實體的輔助特征

基于實體的方法將不同類型的信息（例如文本和圖像）視為結構化知識的關系三元組

主要工作：遵循基于實體的方法來構造多模式知識圖，提出了多模態知識圖譜注意力網絡（MKGAT）

任務描述：制定基于多模態KG的推薦任務：

?輸入：協同過濾知識圖譜，其中包括用戶-項目二部圖和原始的多模態知識圖譜

?輸出：一種預測用戶采用某項商品的概率

MKGAT model

MKGAT model由兩個子模塊組成: multi-modal knowledge graph embedding module 和 recommendation module.

Multi-modal knowledge graph embedding module：

知識圖嵌入模塊以協作知識圖作為輸入，利用多模態知識圖譜（MKG）實體編碼器和MKG注意層為每個實體學習新的實體表示。新的實體表示將匯總其鄰居的信息，同時保留有關其自身的信息。然后，可以使用新的實體表示來學習知識圖嵌入，以表示知識推理關系。

Multi-modal Knowledge Graph Entity Encoder

將結構化知識的實體id或關系id分別embedding；用ResNet embedding 圖像; 用用Word2Vec訓練單詞向量，然后應用SIF模型獲得句子的單詞向量的加權平均值，用作句子向量來表示文字特征

Multi-modal Knowledge Graph Attention Layer

??????? Propagation layer
????給定候選實體h，首先通過transE模型學習知識圖的結構化表示，然后把實體?的多模態鄰居實體信息匯總到實體h。N_h 表示直接連接到h的三元組的集合，集合了鄰居實體信息，是每個三重表示形式的線性組合，計算公式為

其中 e(h, r, t) 是每個三元組 (h, r, t) 的嵌入，而 π(h, r, t) 是每個三元組e(h, r, t) 的注意力得分

e(h, r, t) 是通過對頭部實體，尾部實體和關系的嵌入的串聯進行線性變換得到的

通過關系注意力機制實現π(h, r, t)

在這里，選擇LeakyReLU作為非線性激活函數。此后采用softmax函數對所有與將與連接的所有三元組的系數歸一化：

Aggregation layer

?????? 采用兩種方法將實體表示 e^h 和對應的聚合為實體 h 的新表示

?????? 1) Add aggregation method

??????

?????? 對初始e^h進行線性變換并將其添加到中，W3是一個權重矩陣，用于將當前表示轉移到公共空間

?????? 2) Concatenation aggregation method

??????

?????? 使用線性變換連接 e^h 和 , 其中||是串聯操作，W4是可訓練模型參數

?????? High-order propagation

????? 通過堆疊更多的傳播層和聚合層，探索協作知識圖中固有的更高階連接性。通常對于n層模型，傳入信息是在n跳鄰居上累積的

Knowledge Graph Embedding

使用translational scoring function來embedding

通過優化轉換原理來學習嵌入每個實體和關系，三元組的score為：

Pairwise Ranking Loss：

是隨機替換有效三元組的實體得到的

Recommendation module：

?????? 推薦模塊以實體的知識圖嵌入（由知識圖嵌入模塊獲得）和協作知識圖為輸入，推薦模塊還使用MKG實體編碼器和MKG attention layer來利用相應的鄰居來豐富用戶和用戶的表示。最后，根據傳統推薦模型來生成用戶和項目之間的匹配分數

?????? 為了保留第層的候選用戶和項目的輸出，使用layer-aggregation mechanism將每個步驟的表示連接成一個向量

?????? ?

其中||是連接操作，L是MKG attention layer的數目。這樣不僅可以通過執行嵌入傳播操作來豐富初始嵌入，還可以通過調整L來控制傳播強度

?????? 匹配分數的計算公式為：

??????

?????? 推薦預測損失為Bayesian Personalized Ranking (BPR) loss：

??????

??????

Experiment

?????? 數據集：MovieLens，Dianping

?????? Evaluation Metrics：recall@k和ndcg@k

Baselines：基于FM的方法（NFM），基于KG的方法（CKE，KGAT），多模態方法（MMGCN）

?????? 可以看出MKGCN在recall和ndcg方面均優于兩個數據集的所有baselines

?????? 模態的影響:

在Dianping數據集上比較了KGAT和MKGAT模型在不同模態下的結果，可以看出在KGAT和MKGAT中，具有多模式特征的方法均優于具有單模式特征的方法且視覺效果比文本效果更加重要

模型深度的影響:

對于KGE，在MovieLens中，隨著MKGAT層數的增加,評估指標也增加,證明了鄰域信息融合在知識圖嵌入中的有效性。在Dianping數據集中，隨著MKGAT層數的增加，評估指標先增大然后減小,這可能是因為點屏數據的多跳信息相對稀疏

推薦部分隨著MKGAT層數的增加，評估指標首先集中增長，證明了不同躍點的KGE對于推薦系統有益。但是當層數增加到一定水平時，評估指標下降，這可能是由于數據稀疏導致了過度擬合

組合層的影響:

可以看出使用的連接層（用CONCAT標記）的方法優于添加層（用ADD標記）

Case study:

隨機選擇Dianping數據集中的一個用戶和相關項，計算候選項目與實體之間的相關性得分，相關性得分越高，模型就認為當前實體對模型的影響越大。可以看出多模態關系在協作知識圖中通常有較高評分，表明多模態實體的重要性

總結：

?????? 作者提出了一種多模式知識圖注意力網絡（MKGAT），將多模態知識圖譜創新地引入了推薦系統。通過學習實體之間的推理關系，并將每個實體的鄰居實體信息聚合到自身，該模型可以利用多模式實體信息改進推薦效果

未來可以在多模態知識圖的框架下探索更多的多模態融合方法，例如 Tensor Fusion Network（TFN）或低秩多模態融合（LMF）等

?

---

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 網站。

總結

以上是生活随笔為你收集整理的论文浅尝 - CIKM2020 | 用于推荐系统的多模态知识图谱的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。