過擬合和欠擬合

什么是過擬合和欠擬合

過擬合：模型在訓練集上效果好，在測試集上效果差

欠擬合：在訓練集上效果就不好

產生過擬合的原因

• 參數太多，模型復雜度太高
• 數據量少，訓練輪次過多
• 樣本中噪聲較大，模型擬合了噪聲特征

過擬合解決方法

• 降低模型復雜度，使用小模型
• 增加樣本數量，數據增強，減少訓練輪次
• 使用正則項

正則項

正則化目的

平衡訓練誤差與模型復雜度，避免過擬合

L2正則項

L2正則就是在代價函數

后面加上一個正則化項:

表示原始代價函數， 就是L2正則項，是所有參數的平方和除以訓練集樣本數。

迭代時，代價函數對參數求導：

可以看出L2正則化對偏置

是沒有影響的，只對參數有影響

每一次迭代過程中，參數

都要先乘以 ，因為都是大于零的，所以，效果是減小參數， 我們把這一項成為權重衰減項weight_decay，每次進行參數更新時都要先乘這一項，也就會導致L2正則項得到的權重更加的平滑。平滑也就意味著在一些困難樣本處，模型不會因為這些樣本導致自己過分的扭曲，從而避免過擬合。

L1正則項

L1正則就是在代價函數

后面加上一個正則化項:

求導得

，

其中

為符號函數，則參數的更新規則為：

比不使用正則項的更新規則多減了

。當時，更新后的參數比不使用正則項的更小，當時，更新后的參數比不使用正則項的更大，效果就是比不使用正則項的更加靠近0。當參數中的0變多，也就意味著模型更加的稀疏，同時表明值為0的參數所對應的特征被過濾掉，具有特征選擇的作用。

為什么L1正則具有稀疏性

• 解空間角度

?等值線表示損失函數，等值線越小的表示損失越小，交點處是優化后的參數情況?？梢钥闯?#xff0c;正則項是對參數取值設置了約束條件，使得損失值不能超過約束范圍。

?L1正則有棱有角，更容易在頂點處相交(原因可以參考上一節的L1更新規則)，此時

為0，只保留了，因此L1具有稀疏性和特征選擇性。

• 貝葉斯先驗角度
  參數模型表示為，數據樣本.則極大似然估計MLE可表示為 后驗概率為 取對數后，，我們在優化過程中，一般是求最小值，因此對求最小值即可。將MLE表達式代入到后驗概率中

?假設

滿足拉普拉斯分布，，

?優化函數相當于

?假設

滿足高斯分布，，

?優化函數相當于

?由圖中可以看出，如果滿足拉普拉斯分布，相比于高斯分布來說，參數

會有更大的概率取到0，即具有稀疏性。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的正则过滤符号_多角度理解正则项的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。