作者：一元 公眾號「煉丹筆記」

背景

本文的算法十分通用，在周圍朋友諸多的實踐中，基本都取得了一定的提升。雖然該論文未能發表，但是實踐意義巨大，估價一個億！廢話不多說，直接學習！

電商平臺的發展, 評估電商平臺的好壞指標也會變多,所以我們的問題變成了多目標的。本文提出了DBTML(Deep Bayesian Multi-Target Learning), 通過事件發生的順序進行建模, 目標事件被建模為Bayesian網絡。在Taobao的實驗中,作者發現該方法使用集成的因果結構可以使任務從其他任務那邊收益，創造顯著的協同效應，提高了所有預估的指標。

多目標學習的概率形式

目標變量分離

當我們有一個二元目標,那么該預測通常會被建模為LR問題,當我們有多個二元目標,那么我們就可以將其建立為多分類問題(可是隨著二元任務變多,笛卡爾空間會呈指數爆炸)，當目標數據的稀疏性很強時，預測結果很快就會惡化。因此，通常我們通過將聯合分布分解為較小的聯合分布或單個分布，并在一定的概率模型假設下，避免這種指數空間擴張。于是我們可以將其寫為：

于是我們的 損失被劃分為兩個不同的項,label空間的維度詛咒就消失了。它對應的框架圖如下：

我們發現上面獨立性的假設是沒有必要的, 使用Bayesian公式,我們可以將其重新寫為:

而該對應的框架就如下圖所示：

這是本文的框架,也是ESMM模型的框架,不同的是,此處我們直接用MLP從數據中自動學習

當目標事件之間的因果關系不明確時，使跨目標關系變得可學習更為重要,在這種情況下,

就不再重要,我們可以直接從數據中判斷哪個更好學習。

此處的討論也可以泛化到超過兩個目標的場景

網絡結構的選擇

當我們有多個目標需要預測同時因果關系較為模糊的時候,那么這個時候targets之間的關系有O（n^2）個,同時所有的貝葉斯網絡個數變為2^O（n^2）, 那么如何解決這個問題呢？

增量&貪心地構建Bayesian網絡: 增量的添加目標節點, 固定現有所有的邊不變, 僅僅迭代和新節點相關的鏈接來確定最好的方向;

基于直覺和關于因果關系的先驗知識構建網絡結構, 同時使用在特定迭代的局部變化，保持好的變化和放棄壞的。帶有因果關系的方向通常比反因果關系的要好。一般來說，使用分布更均勻的目標來預測分布不均勻的目標會更好。例如“Follow”按鈕的點擊率不如“Goods Bag”按鈕的點擊率均勻分布（Follow button click相對較少，而live room用戶點擊商品包按鈕的比例相對接近1/2），因此，用follow事件作為原因比用goods bag click作為原因可以得到更糟糕的結果，這在我們的實驗中得到了證實。

模型試驗框架

模型試驗的框架如下：

試驗實現了下面的Bayesian公式：

它對應的負的log-likelihood就是：

實驗中, 為了對不同目標的重要性進行控制,會加入權重,

實驗

1. 實驗比較

• 多目標學習相較于單目標學習取得了最好的效果;
• 在所有的任務上,DBMTL都要遠好于其他模型;

2. 目標對效果

• DBMTL在所有三個實驗中都優于其他方法，證明了它在各種目標類型中的通用性；
• ESMM和DBMTL在輔助目標建模方面都很成功，但在CTR-CGR（非稀疏）情況下的改進不如在CTR-CFR（稀疏）情況下顯著;這可能是由于目標之間的相互聯系在學習稀疏目標時會帶來特殊的增益，因為稀疏目標可以利用非稀疏原始目標數據中的信息;
• 在CTR-AST（實值）案例中，DBMTL相對于ESMM的改進更為顯著，顯示了DBMTL在處理連續值目標時的泛化能力。

3. 目標貝葉斯結構

和我們的直覺類似,因果式的方向CTR->others在指標上取得了最好的效果。正確的因果關系可以更好的建模和學習;

小結

本文提出的DBMTL框架,但從淘寶的實驗數據集的效果來看,構建因果關系的網絡確實能帶來不錯的提升。削弱了其他深層MTL結構用于潛在概率模型的許多假設。由于DBMTL框架對目標分布和類型不做具體的假設，所以它很容易將其推廣到各種分布和值類型。在設計貝葉斯結構時，我們還提出了兩個原則：尊重清晰的自然因果關系，以及傾向于多熵目標指向低熵目標。

參考文獻

• Deep Bayesian Multi-Target Learning for Recommender Systems(ArXiv2019)

論文地址（見文末）：Deep Bayesian Multi-Target Learning for Recommender Systems

更多煉丹筆記干貨，請關注微信公眾號「煉丹筆記」

總結

以上是生活随笔為你收集整理的推荐算法炼丹笔记：Deep Bayesian的多目标推荐的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。