一、結(jié)論

使用id類特征效果很好，很重要

dropout對(duì)模型性能影響較大

dnn層數(shù)對(duì)模型性能影響大

同樣數(shù)據(jù)特征的情況下，deepfm比lr在AUC（ROC）的效果好0.02～0.03

只使用id類特征（用戶id，物品id）比使用全部特征（包含用戶id，物品id）的AUC值差0.005左右，但是訓(xùn)練速度和預(yù)測(cè)速度大幅度提升。

二、應(yīng)用場(chǎng)景

2.1 指標(biāo)選擇

應(yīng)用deepfm和lr模型的目的是給召回階段的候選集合排序，故選擇AUC為模型離線評(píng)測(cè)的指標(biāo)。同時(shí)關(guān)注loss的變化情況。

2.2 數(shù)據(jù)情況

此實(shí)驗(yàn)對(duì)數(shù)據(jù)集是推薦領(lǐng)域?qū)τ脩羝毓夂忘c(diǎn)擊的數(shù)據(jù)。

模型的訓(xùn)練集是前2天到n天的數(shù)據(jù)（n可以調(diào)整）

模型的驗(yàn)證集是前1天的數(shù)據(jù)

三、實(shí)驗(yàn)數(shù)據(jù)

默認(rèn)參數(shù)：epoch=1；optimizer=adam；loss=cross entropy；batch=256；

實(shí)驗(yàn)id特征embedding（隱向量）dnn結(jié)構(gòu)dropoutAUCloss

1	uid,itemid	10	dnn=(128,128)	0	AUC=0.731	loss=1.18
2	uid,itemid	2	dnn=(128,128)	0	AUC=0.733	loss=1.12
3	uid,itemid	4	dnn=(128,128)	0	AUC=0.731	loss=1.08
4	uid,itemid	3	dnn=(128,128)	0.85	AUC=0.746	loss=1.17
5	uid,itemid	3	dnn=(128,128)	0.65	AUC=0.736	loss=1.11
6	uid,itemid	3	dnn=(256,256)	0.85	AUC=0.744	loss=1.07
7	uid,itemid	3	dnn=(64,64)	0.85	AUC=0.745	loss=1.24
8	uid,itemid	3	dnn=(64,64,64)	0.85	AUC=0.770	loss=0.667
9	uid,itemid	3	dnn=(128,128,128)	0.85	AUC=0.772	loss=0.800

結(jié)合訓(xùn)練時(shí)間，性能等實(shí)際情況，最優(yōu)等參數(shù)如下：

特征： uid,itemid
embedding：3
dnn結(jié)構(gòu)：(128,128,128)
dropout：0.85

四、實(shí)驗(yàn)思考

不同等應(yīng)用場(chǎng)景，模型的性能指標(biāo)應(yīng)該有所差異

數(shù)據(jù)分布不一致對(duì)模型有怎樣對(duì)影響

在推薦場(chǎng)景中，訓(xùn)練和驗(yàn)證數(shù)據(jù)是否應(yīng)該排除top數(shù)據(jù)

還有哪些特征對(duì)排序模型有較大的用處（統(tǒng)計(jì)類特征）

為什么僅僅使用id類特征能夠有較好的效果？

怎樣在深度學(xué)習(xí)網(wǎng)絡(luò)中快速調(diào)參（正好看到一篇論文）
https://arxiv.org/pdf/2006.06863.pdf

總結(jié)

以上是生活随笔為你收集整理的DeepFM调参总结的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。