|?作者：朱勇椿?

| 單位：中國科學院大學?

| 研究方向：跨域推薦、多任務學習

在真實場景的推薦系統中，通常會使用所有數據來訓練推薦模型，學到的user embedding可以表示用戶的興趣偏好。但是這樣的用戶表示可能會遺漏用戶的序列行為信息，而序列推薦則旨在顯式地建模用戶的序列行為，提升推薦系統的效果。本期為大家分享一些序列推薦算法。

文本將序列推薦分為以下幾個方面：

• 標準序列推薦

• 長短期序列推薦

• 多興趣表示的序列推薦

• 多行為序列推薦

• 其他序列推薦

一、標準序列推薦

標準序列推薦指通過單行為序列挖掘用戶表示的推薦算法。標準序列推薦算法也非常直接，一些常見的序列建模的方法，比如Pooling, RNN, CNN, Memory Network,?Attention, Transformer等等。

1.1 Pooling

將用戶交互過的item的embedding，取個均值，作為序列特征加入推薦模型，比如google的推薦模型[1]。這種方法簡單有效，也是業界最常見的使用序列特征的手段。

1.2 RNN-based

RNN是一種進行序列建模的非常使用的方法，廣泛用于各種序列建模，比如文本、語音等等。GRU4Rec[2]將RNN引入了session-based推薦系統，將一個session內的交互作為序列歷史，進行序列建模。

1.3 CNN-based

TextCNN將CNN引入了序列建模，Caser[3]將CNN引入了序列推薦。Caser中指出現在的Markov chain models只能建模point-level sequential patterns，不能建模union-level patterns，而CNN可以很好的解決這個問題。

1.4 Attention-based

上述方法沒有考慮用戶序列行為中哪些交互是比較重要的，注意力機制(attention)是一個很好的解決方法。SASRec[4]提出了一種基于自注意力的序列推薦方法。

阿里提出了一種深度注意力網絡DIN用到推薦廣告[5]，在業界有著廣泛的應用。

1.5 Memory-based

上述的方法只對序列交互進行了建模，而沒有存儲下來，當序列很長時可能會遺忘一些過去的交互，RUM[6]引入了用戶記憶模塊，來存儲序列交互的信息。

1.6 Transformer-based

Transformer在NLP任務上取得了顯著的提升，基于Transformer提出了Bert等大型預訓練模型。Bert4Rec[7]將這類結構思路引入了推薦系統。

二、長短期序列推薦

用戶可能擁有大量交互歷史，長期交互和短期交互對用戶當前興趣可能有著不同的影響，因此有必要區分用戶的長短期行為。SHAN將用戶行為分為長期的和短期的，使用層次注意力網絡進行建模。

三、多興趣表示的序列推薦

上述的方法通常是將用戶行為編碼為一個表示，但是用戶的興趣偏好通常是多個方面的，因此有方法將用戶的序列行為編碼為多個興趣表示向量[9]。

四、多行為序列推薦

用戶通常有多種不同的行為序列，比如點擊、分享、購買等等。因此對多行為序列建模來抓獲用戶興趣偏好也是非常有必要的[10]。

五、其他序列推薦

現在還有一些其他的序列推薦方法，比如用對比學習來做序列推薦任務[11]。

另外還有一些和序列推薦很接近的任務，比如next basket[12]。

六、總結

顯式地建模用戶的歷史交互行為對提升推薦的效果有很大的作用，因此需要使用一種高效的模塊進行序列建模，此外還應該考慮長短期序列、多行為序列、多興趣表示等多個角度的序列建模。當然在某些場景序列特征可能作用不大，可以先用pooling簡單試試序列特征的效果。

七、參考文獻

[1] Deep Neural Networks for YouTube Recommendations. Recsys2016.

[2] Session-based Recommendations with Recurrent Neural Networks. ICLR2016.

[3] Personalized Top-N Sequential Recommendation via Convolutional Sequence Embedding. WSDM2018.

[4] Self-Attentive Sequential Recommendation. ICDM2018.

[5] Deep Interest Network for Click-Through Rate Prediction. KDD2018.

[6] Sequential Recommendation with User Memory Networks. WSDM2018.

[7] BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer. CIKM2019.

[8] Sequential Recommender System based on Hierarchical Attention Networks. IJCAI2018.

[9] Controllable Multi-Interest Framework for Recommendation. KDD2020.

[10] Incorporating User Micro-behaviors and Item Knowledge into Multi-task Learning for Session-based Recommendation. SIGIR2021.

[11] Disentangled Self-Supervision in Sequential Recommenders. KDD2020.

[12] Factorizing Personalized Markov Chains for Next-Basket Recommendation. WWW2010.

更多論文，歡迎訪問https://github.com/hongleizhang/RSPapers

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載機器學習的數學基礎專輯黃海廣老師《機器學習課程》課件合集 本站qq群851320808，加入微信群請掃碼：

總結

以上是生活随笔為你收集整理的【推荐系统】一文梳理序列化推荐算法模型进展的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。