?原創 ·?作者 | 黃超、夏良昊

單位?|?香港大學計算機學院

研究方向?|?數據挖掘, 信息檢索

研究背景

個性化推薦系統（Recommender Systems）作為解決信息過載的有效技術，已經被廣泛運用于各類線上應用系統，比如電子商務以及在線視頻平臺。在當前的推薦系統技術中，協同過濾逐漸演變成為非常重要的模型框架用于通過用戶歷史的交互行為學習復雜的用戶興趣愛好。其中基于深度學習框架的推薦算法通過有效地學習用戶和商品的表征信息，已經為大量的實際推薦平臺強勁助力。

近年來，基于圖神經網絡的深度學習模型的引入給協同推薦方法帶來了明顯的效果提升。但是，現有的方法大多只針對單類別的用戶與商品的交互關系（如點擊、購買）進行建模，而忽略了推薦場景中用戶多行為的特性。例如，在一個典型的電商平臺上，同一個用戶和商品的交互關系可能會是多重類別的，其中包括瀏覽、加購物車、收藏、購買等多種交互關系，不同交互行為賦予了用戶和商品之前關聯性不同的語義信息，從而可以使得對用戶。

在該研究工作中，我們通過對用戶復雜的多行為模式進行探索有效地提升推薦效果。然而，運用多行為交互數據來刻畫用戶復雜的興趣面臨著諸多挑戰。首先，用戶與商品間的多重交互關系具有行為異構特性，每種行為各自包含不同的語義。例如，不同行為一般反映出不同的用戶偏好程度，點擊通常只意味著用戶對商品具有初步且較為模糊的興趣，而購買則代表著用戶較強的偏好。

同時，行為類別間存在復雜的關聯性，使得多行為交互數據的建模變得更加復雜。例如，在電商平臺中，添加購物車和收藏對很多用戶來說是相近的交互選項，兩者具有互補關系；添加購物車往往意味著用戶即將購買。

更具挑戰的是，對不同用戶來說，上述行為異構性常常有所差別，例如有的用戶傾向于瀏覽商品后直接決定是否購買，而有的用戶習慣將候選商品添加購物車后統一購買。因此，如果對用戶多行為交互模型進行有效地個性化建模，將是該工作所面臨的重要挑戰。

論文標題：

Graph Meta Network for Multi-Behavior Recommendation

論文作者：

夏良昊 (華南理工大學)，許勇 (華南理工大學)，黃超 (香港大學)，戴鵬 (京東硅谷研發中心)，薄列峰 (京東硅谷研發中心)

論文來源：

SIGIR 2021

論文鏈接：

https://dl.acm.org/doi/pdf/10.1145/3404835.3462972

代碼鏈接：

https://github.com/akaxlh/MB-GMN

模型介紹

為了應對上述挑戰，從復雜的多行為關系中提煉出用戶和商品有效的表征，本文提出 MB-GMN（Multi-Behavior with Graph Meta Network），將元學習和圖神經網絡相結合。MB-GMN 分為三個模塊，分別是：多行為模式編碼（Multi-Behavior Pattern Encoding）、元圖神經網絡（Meta Graph Neural Network）、以及元學習遷移網絡（Meta-Knowledge Transfer Network）。

通過提取用戶、商品、行為類別的元知識，MB-GMN 可以生成定制化網絡參數，捕捉基于行為的用戶和商品特征信息。同時，本文采用圖卷積神經網絡提取用戶、商品的高階鄰域信息，從而得到各個行為下的平滑表示。最后，MB-GMN 使用元學習網絡得到跨行為預測器，進行多個源-目標預測任務，通過多任務學習框架對模型的表征學習能力進行優化。

2.1 多行為模式編碼

首先，我們所提出的 MB-GMN 架構使用元學習器構建特定行為下的用戶與商品的表征信息?；谌值目蓪W習表示向量、以及一階鄰居集合（如下圖所示），元學習器將對原始表示向量進行拼接和線性轉換操作，提取出的元知識包含了特定行為、特定用戶/商品、以及該行為下該用戶與商品的領域關聯信息?；谶@一元知識，MB-GMN 可以通過多層感知機生成這一特定情境下的網絡參數，對目標用戶與商品的全局表征信息進行變換，從而得到個性化的向量表示。

這里，為了防止定制化過程過于復雜，使模型訓練出現過擬合，MB-GMN 不直接生成定制化所需的變換矩陣，而是生成兩個低秩的分解矩陣，使用兩次低秩矩陣乘法完成一次變換操作。其具體的分解優化操作如下圖所示：

2.2 基于元學習的圖神經網絡

得到上述定制化的用戶和商品的表征之后，MB-GMN 基于各個行為類別的鄰接矩陣，分別進行 L 次基于圖卷積的消息傳遞操作，以利用歷史交互記錄對用戶和商品的表征進行平滑。在推薦場景中，當有 K 個行為類別時，將得到 K 個只與單個行為相關的平滑的用戶與商品的表征信息。在圖卷積網絡中，MB-GMN 使用點的度矩陣進行 normalization，并采用 LeakyReLU 激活函數。

除了分別使用不同行為類別的鄰接矩陣，為了綜合提取用戶/商品的交互特征，MB-GMN 也將所有行為數據匯聚構建為一個異構圖，另外進行一組異構圖卷積特征提取。在每次異構圖卷積迭代時，MB-GMN 首先進行一次上述同構圖卷積操作，得到各個行為類別的平滑特征，再應用多頭自注意力機制計算各個行為之間的相關性，最后使用相關性矩陣，對各個行為的表示向量進行修正與更新，從而得到綜合考慮了不同行為信息的用戶與商品的表征信息。

2.3 基于元學習的遷移網絡

通過上述模塊，MB-GMN 獲取了對應 K 個行為類別的用戶與商品表征信息，以及綜合利用所有行為數據的用戶/商品表示，共（K+1）組表示。在預測階段，本文提出進行多任務學習以更好地進行參數優化。這里，一個訓練任務即為：使用第 k 組表示預測用戶、商品在第 k 個行為下的關系。因此，預測部分需要對 (K+1)*K 個任務進行學習。

為了在上述過程中更好地提取不同行為間的語義遷移關系，MB-GMN 應用一個元學習器來提取特定行為下用戶和商品的信息，以及源行為類別和目標行為類別之間的關系。

如下圖所示，元學習器首先使用 映射，分別對源行為和目標行為下，用戶和商品的表示進行融合，經過線性變換和非線性操作，分別得到源行為和目標行為的相關知識。接著使用同樣的操作對源行為和目標行為的元知識進行蒸餾，得到當前預測任務的知識。接下來，MB-GMN 據此生成預測網絡中所需的參數 ，以源行為的用戶、商品表示為輸入，進行當前任務的預測。

實驗結果

本文在三個多行為推薦數據集上進行實驗與模型的驗證，數據集均采集自真實的大規模電商平臺，統計信息見 Table 1。本文采用隱式反饋任務常用的 leave-one-out 評測模式，對每個測試用戶，選取最后一個購買商品作為測試集中的正例，另選取 99 個未交互商品作為測試負例，使用 Hit Rate@N 和 NDCG@N 作為評測指標。我們將 MB-GMN 與 6 個類別的 14 個 baseline 方法進行了對比實驗，并且展示了模型在推薦任務上的優勢。

3.1 對比實驗

如 Table 2 所示，在三個數據集上 MB-GMN 均取得了明顯更優的推薦效果。同時我們觀測到，考慮用戶多種行為類別的方法，如 MATN、MBGCN 取得了優于普通協同過濾方法的效果。

3.2 消融實驗

為了驗證 MB-GMN 各個子模塊的有效性，我們對整個模型框架中的可信模塊進行了消融實驗。相應的實驗結果請參見 Table 4。在消融實驗中，w/o 代表去除特定模塊，LowR 指第一個模塊中的低秩參數矩陣分解，MFeat 指第二個模塊中綜合所有交互類別的圖卷積網絡分支，MTask 指第三個模塊的多任務學習，MetaC 指第一個模塊中的元學習器，MetaP 指第三個模塊中預測時的元學習器。從結果可以看出，各個模塊在整個 MB-GMN 框架的推薦效果均有一定的促進作用。

同時，我們針對不同行為類別也進行了消融實驗，以探究不同行為類別對模型預測的重要程度。實驗結果見下圖，其中-代表去除某個行為類別，+buy 代表只保留作為目標行為的購買數據，pv 代表 page view 瀏覽詳情頁操作，fav 代表 favorite 收藏操作，cart 代表 add-to-cart 加購物車操作。

從結果可以看出，+buy 模型總是表現最差，說明了輔助行為對購買預測的重要性。在各個輔助行為中，去除 pv 行為造成了最大的效果衰退，說明了 pv 數據對 MB-GMN 模型的重要性。我們認為這很可能來源于 pv 數據較大的規模，它既可以作為豐富的行為特征數據，也可以為模型學習提供充分的輔助監督信息。

3.3 模型在稀疏數據上的優勢

接下來，我們進一步評測 MB-GMN 與部分 baseline 方法在不同稀疏度的數據上表現如何。我們將 Taobao 數據集劃分為 5 個子數據集，每個子數據集的交互數相等。下圖中柱狀圖描繪 5 個子數據集的用戶數量，折線圖則表現各個方法的測試結果，x 軸坐標代表對應子數據集中單個用戶的最大交互數，從左到右數據集由稀疏變得稠密。可以看出，MB-GMN 在不同稀疏度上均取得了較好的效果。

同時我們注意到，大部分使用用戶與商品的鄰域信息進行特征提取的方法均沒有受到明顯的稀疏度影響，而不使用鄰域信息的 BiasMF 和 NCF-G 則表現出在稀疏的數據集上效果差、在稠密的數據集上效果好的趨勢。

3.4 參數實驗

我們針對模型超參數進行了學習，在三個數據集上改變超參設定測試模型效果。從結果可以看到，不同數據集上超參設置的表現有所不同，有的數據集在隱藏層維度或圖卷積迭代次數較大時出現過擬合現象，在有的數據集上默認參數則一定程度上限制了模型學習能力。

3.5 樣例學習

最后，本文進行樣例學習，以探究不同行為之間的關系。我們將多任務學習中不同任務的預測準確性進行可視化，隨機抽取了部分用戶，可視化使用不同源行為對不同目標行為進行預測的準確性，并計算了所有樣例的平均預測準確度，結果如下圖所示。可以發現，對不同用戶來說，各個任務的預測準確性有所不同。

此外，使用點擊行為作為源行為進行預測，可以得到更高的預測準確性，這一現象與行為類別消融實驗相符，應當是由于點擊行為數據較多，可以提供充分的信息進行特征提取。同時，可以發現各個源行為都能更好地對購買行為進行預測，我們認為這歸因于購買行為語義明確、易于預測。

與之相對，預測點擊行為的準確性較差，而購買行為作為源行為時準確性也較低。這兩個現象應當是由于點擊行為所蘊含的用戶傾向較為復雜、模糊，難以預測，而購買行為數量較少，作為特征數據不能提供充分的信息。

總結

在本工作中，我們探索了用戶多行為模型下的推薦系統，以有效地學習不同行為之間的個性化交互模式。我們所提出的推薦模型框架 MB-GMN 通過元學習提取用戶個性化信息并注入到基于圖遷移學習的框架中，從而可以對用戶復雜的興趣愛好進行學習并進行更準確的推薦。我們希望該工作中的研究成果可以為接下來多行為推薦系統的探索提供一些指導意義。

參考文獻

[1] B.Jin, C.Gao, X.He, D.Jin, and Y.Li. “Multi-Behavior Recommendation with Graph Convolutional Networks. In ACM SIGIR. 659–668.2020.

[2] L.Xia, C.Huang, Y.Xu, P.Dai, B.Zhang, and L.Bo. “Multiplex Behavioral Relation Learning for Recommendation via Memory Augmented Transformer Network”In ACM SIGIR,2397–2406.2020.

[3] X.Wang, X.He, M.Wang, F.Feng, and T.Chua.“Neural Graph Collaborative Filtering”. In ACM SIGIR,165–174,2019.

[4] Y.Cen, X.Zou, J.Zhang, H.Yang, J.Zhou, and J.Tang.“Representation learning for attributed multiplex heterogeneous network”In ACM KDD. 1358–1368.2019.

特別鳴謝

感謝 TCCI 天橋腦科學研究院對于 PaperWeekly 的支持。TCCI 關注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

📝?稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

·

總結

以上是生活随笔為你收集整理的SIGIR 2021 | 推荐系统中的多行为建模的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。