一、背景

在推薦系統(tǒng)中，LR由于簡(jiǎn)單高效，至今在各大互聯(lián)網(wǎng)公司中仍廣泛應(yīng)用。但是互聯(lián)網(wǎng)公司中的數(shù)據(jù)大都是高維稀疏，比如廣告id，再加上各種人工的特征組合，特征維度很容易達(dá)到上億維，使得內(nèi)存的消耗和訓(xùn)練的時(shí)間都大大增加。并不是所有的稀疏特征對(duì)LR的訓(xùn)練都是有用的，對(duì)于pv(出現(xiàn)次數(shù))或click(點(diǎn)擊次數(shù))特別小的特征，對(duì)LR訓(xùn)練并無多大幫助。下面會(huì)給出理論證明。

二、稀疏特征過濾

損失函數(shù)為：

其中：

對(duì)于第

維特征 ，損失函數(shù)的梯度為：

其中：

• 當(dāng) 時(shí)，只要 ，則 單調(diào)遞增
• 當(dāng) 時(shí)，只要 ，則 單調(diào)遞減

因此，當(dāng)

時(shí)， 在 處取得極小值

即滿足下面的約束：

• 其中 表示第 維特征的點(diǎn)擊次數(shù)。當(dāng) 時(shí)，左邊的不等式恒成立。
• 由于 ，因此當(dāng) 時(shí)，右邊的式子恒成立，即

綜上，當(dāng)滿足下面的式子，

在 處取得極小值:

因此滿足上式的特征

，學(xué)習(xí)出的權(quán)重為0，可以直接過濾。

三、總結(jié)

當(dāng)特征

滿足以下條件，學(xué)習(xí)出的權(quán)重為0，可以直接過濾。

總結(jié)

以上是生活随笔為你收集整理的过滤特征_LR训练优化-稀疏特征过滤的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。