【PyTorch基础教程30】DSSM双塔模型(线上召回 | 模型更新)
生活随笔
收集整理的這篇文章主要介紹了
【PyTorch基础教程30】DSSM双塔模型(线上召回 | 模型更新)
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
內容總結
- 召回中,一般的訓練方式分為三種:point-wise、pair-wise、list-wise。RecHub中用參數mode來指定訓練方式,每一種不同的訓練方式也對應不同的Loss。對應的三種訓練方式可以參考下圖,其中a表示user的embedding,b+表示正樣本的embedding,b-表示負樣本的embedding。
- 前面兩行是指pointwise即圖例看待每個正負樣本,使用二分類交叉熵
- pairwise:每次選擇一個正樣本和一個負樣本,使用Hinge loss或者BPR loss損失函數
- listwise:每次選擇一個正樣本和多個負樣本,使用softmax loss函數,其實就是多分類問題(如下圖最下面的CrossEntropyLoss函數)
- 召回中樣本的選擇:
- 正樣本:用戶點擊的物品
- 負樣本:沒有被召回的;召回但是被排序淘汰的;曝光但是未點擊的
- 微軟DSSM奠定的基本思想:
- 離線使用cosine優化相似度
- 在線使用ANN向量化召回
- 首次提出隨機負采樣
總結
以上是生活随笔為你收集整理的【PyTorch基础教程30】DSSM双塔模型(线上召回 | 模型更新)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 资产定价核心等式及其应用
- 下一篇: 抖音最新版安卓 签名算法 设备注册()