文章目錄

• 1.進化路線
• 2. 公式比較

1.進化路線

• LR：沒有較叉項
• ->FM:LR+交叉項，一個特征一個向量
• ->FFM:一個特征對每一個field（屬性名）的交互有一個向量，一個特征有一個特征矩陣。
• ->AFM:每個內積都有一個權重，求內積加權和（self-attention）
• ->FNN:預訓練好的FM，輸入DNN
• ->PNN:embedding layer和first hidden layer之間增加了一個product layer
• ->DeepFM：不預訓練，不用人工特征，one-hot->embedding->FM/hidden

2. 公式比較

FM:系列
$FM(x)=w_0+{\sum }_{i=1}^n{w}_i{x}_i+{\sum }_{i=1}^{n?1}{\sum }_{j=i+1}^n<v_i,v_j>x_i{x}_j,linear(x)=w_0+{\sum }_{i=1}^n{w}_i{x}_i$
$FFM(x)=w_0+{\sum }_{i=1}^n{w}_i{x}_i+{\sum }_{i=1}^{n?1}{\sum }_{j=i+1}^n<v_{i,f_j},v_{j,f_i}>x_i{x}_j$
$AFM(x)=w_0+{\sum }_{i=1}^n{w}_i{x}_i+P^T{\sum }_{i=1}^{n?1}{\sum }_{j=i+1}^n{a}_{ij}<v_i,v_j>x_i{x}_j$
$FNN(x)=mlp(l_z),l_z=embed(x)，embed使用預訓練過$
$PNN（x）=mlp(l_z+l_p),l_z=embed(x),l_p=內積或外積$
$DeepFM(x)=FM(x)+mlp(embed(x))$
$NFM(x)=linear(x)+mlp(FM(x))$
$Dee{p}_{C}ross(x)=Linear([Cross(l_z),MLP(l_z)]),Cross(l_z)=l_z+l_z?Linea{r}_1(l_z)+...,l_z=Embed(x)$

總結

以上是生活随笔為你收集整理的【搜索/推荐排序】总结的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。