推荐算法炼丹笔记：标签工程
Deep Feedback Network for Recommendation(IJCAI20)
背景
做數據挖掘相關的朋友，大多數都聽說過特征工程這個藝術的詞匯，卻鮮有人知道標簽工程這個偉大的詞匯，誒，為什么很少有人知道呢？因為這個是我們自己造出來的，輕噴......但是這個詞卻真的非常契合本篇文章的核心思路，大家都知道標簽臟或者模糊的問題，這個是所有數據里面不可避免的，那么如何解決或者緩解此類的問題呢？讓標簽更加置信，這個就是本文探討的一個重點。具體細節，大家可以閱讀下文慢慢品味.......
無論是顯性反饋還是隱性反饋都能反映用戶對商品的意見，這對于學習推薦中的用戶偏好至關重要。然而，目前大多數推薦算法只關注隱式的正反饋（如點擊），而忽略了其他信息豐富的用戶行為。在這篇文章中，我們的目的是聯合考慮顯式/隱式和正/負反饋，以了解用戶的無偏偏好。具體地說，我們提出了一種新的深度反饋網絡（DFN）來建模點擊、未點擊和不喜歡行為。DFN有一個內部反饋交互組件，該組件捕獲單個行為之間的細粒度交互，以及一個外部反饋交互組件，該組件使用精確但相對較少的反饋（單擊/不喜歡）從豐富但非常嘈雜（unclick）的反饋中提取有用的信息。
基礎概念
顯示和隱式反饋
在推薦系統中，顯式和隱式的反饋都是有價值的，許多工作使用特征mapping以及遷移學習的方式來構建顯示和隱式反饋的關系，目前大多數算法使用多任務學習方式將顯式和隱式反饋結合來聯合處理ranking和rating的任務。在DFN中，我們使用高質量的但是相對稀有的顯式反饋來指導學習。
負反饋
在平時，我們將缺失的或者未點擊的樣本作為負反饋，但是這么做會引入大量的噪音，因為未點擊并不代表不喜歡，為了提取隱式反饋中的真實負信號，一些模型使用曝光變量或popularity。Zhao等人以點擊和取消點擊序列作為特征進行強化學習。相比之下，明確的負面反饋可以直接反映用戶的負面意見，而其稀缺性限制了其在深層次模型中的使用。據我們所知，我們是第一個將點擊、不點擊、不喜歡的行為及其相互作用編碼到深層神經推薦中，同時考慮到隱性和顯性反饋中的負面信號的。
方法
三種反饋
DFN希望可以同時考慮大量的明顯的和隱性的以及正負反饋來學習用戶的無偏喜好，此處有三種不同的反饋：
- 隱式正反饋：隱式正反饋在數量和質量上面是最容易滿足的，在大多數傳統模型，我們考慮點擊行為序列{C1,...,Cn}作為隱式的正反饋;
- 顯式負反饋：顯式反饋是高質量的，但是在現實世界中確是稀有的。此處我們在每個商品后面附加dislike按鈕來收集現實的負反饋序列{d1,...,dn};
- 隱式負反饋：我們將impressed但是沒有點擊的行為序列作為隱式負反饋，未點擊的序列是所有反饋中最多的，但是它需要和大量的噪音以及false-negative信號斗爭。
整體框架
1. 深度反饋交互模塊
內部反饋交互組件：該模塊關注目標商品和特定類型反饋中個人行為之間的交互作用。我們在item embedding和position embedding上進行multi-head self-attention，并投射到一個聯合語義空間，形成行為嵌入。以點擊行為為例，將目標商品t與點擊序列的行為embedding相結合，形成輸入矩陣,
我們還在特定type的超參數上使用相同的Transformer來生成明顯的負反饋embedding, 以及從dislike和unclick的隱式反饋embedding，內部反饋交互成份很好地捕獲了目標商品和每種反饋序列中行為之間的交互。它可以為用戶提供與目標商品相關的積極和消極偏好。
外部反饋交互組件: 隱式的負反饋是充分的但也是noisy的，未點擊的行為看上去是負的信號，但是曝光給用戶的商品是被特定策略篩選過的，所以也可能包含粗粒度方面的用戶興趣。外部反饋交互組件旨在根據點擊和不喜歡行為中的強烈反饋，區分用戶在不點擊行為中真正喜歡和不喜歡什么。
2. 特征交互模塊
我們將稀疏的特征分為m個域,{x1,x2,...,xm} ,里面也包含連續域，例如年齡等，所有的field被表示為one-hot的embedding，lookup table被用來生成所有filed的dense特征{f1,...,fn},此處我們實現了Wide,FM以及Deep的成份來做特征交叉。
2.1 Wide部分
2.2 FM部分
2.3 深度部分
此處，我們使用一個二層的MLP來學習高階的特征交叉，輸入是dense特征和反饋特征的拼接形式，
3. 目標優化
最終我們的損失函數為：
實驗
1. 效果比較
- DFN在所有的baseline上的效果遠超過了Baseline；
- DFN的又是主要來源于它的深度反饋交叉模塊。內部反饋交互組件通過transformer成功地捕獲了目標項和個體行為之間的細粒度交互。它可以從不同類型反饋中的行為層交互中提取用戶偏好。第二，外部反饋交互組件使用精確但相對較少的反饋來消除豐富但嘈雜的不點擊的行為。因此，DFN可以解決數量與質量的兩難問題。
2. Dislike預測
- DFN取得了最好的效果;
- 主要的改進來自兩點：（1）DFN在損失函數中考慮了顯式的負反饋，直接優化了不喜歡預測。（二）深度反饋交互模塊引入了內部和外部反饋交互，更好地提取了信息豐富的用戶無偏見的推薦偏好;
- 對于公平模型的比較，我們進一步將DFN中的不喜歡損失添加到一些強基線中(DIN+);它的結果和DFN相比還是差了很遠。
3. 解耦分析
- DFN（click）效果優于DFN（w/o feedbacks），這證實了單擊行為的重要性。
- 從DFN（click）到DFN（internal）的顯著改進也驗證了unclick和dislike行為可以提供補充信息，幫助學習用戶無偏見的偏好。
- 與DFN（內部）和DFN（All）相比，外部反饋交互仍然有顯著的改進，這證實了外部反饋交互組件在DFN中是有益的；
4. 在線效果
- 與DIN相比，DFN在CTR和LCTR指標上實現了一致的改進，這證實了DFN在實際CTR預測中表現良好。
- AUT的改進也意味著用戶愿意花更多的時間使用我們的系統，因為DFN可以提供更好的推薦商品。
- DTR的顯著改進表明，DFN能夠對推薦中的用戶負偏好進行建模，這對于提高用戶的實際體驗至關重要。
結論
在本文中，我們提出一個深度反饋網路（DFN），它同時考慮顯式/隱式和正/負回饋來學習使用者的無偏喜好。DFN在多個反饋中使用內部行為和外部反饋交互。離線和在線的顯著改進驗證了DFN的有效性和魯棒性。在未來，我們將使用更復雜的排名模型進行功能交互。
參考文獻
http://weixin.qq.com/r/XSjP1zrEzGezrX60931P (二維碼自動識別)
總結
以上是生活随笔為你收集整理的推荐算法炼丹笔记：标签工程的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 推荐系统炼丹笔记：阿里边缘计算+奉送20
- 下一篇： 推荐算法炼丹笔记：序列化推荐算法Bert