魯棒學習

最小二乘法易受異常值影響
異常值處理:

提前剔除異常值再訓練

提高異常值的魯棒性--魯棒學習算法

1. \(L_1\)損失最小化

第\(r_i\)個樣本的殘差:

L2損失隨殘差呈平方級增長:

L1損失最小化學習較最小絕對值偏差學習\(\hat \theta_{LA}\)

L1損失LS受異常值影響較小:

L2損失LS輸出結果是訓練樣本輸出值的均值:

L1損失LS輸出結果是訓練樣本輸出值的中間值:

對于L1損失LS, 只要中間值不變, 異常值對最終結果影響不大.

2.Huber損失最小化

Huber損失LS能很好地平衡有效性和魯棒性.
Huber混合使用了L1和L2損失:

公式:

• r為殘差的絕對值. \(|r|\)小于閾值\(\eta\)(正常值), 則為L2損失, 否則(異常值), 為L1損失
• 為了和L2損失平滑連接, 省去了\(\frac{\eta^2}{2}\)

最終的Huber損失LS:

應用到線性模型:

圖示:

權重$ \tilde{w}_i$定義:

Huber LS和Tukey損失權重函數對比:

加權最小二乘學習法的解:

反復加權最小二乘學習:

對線性模型禁行Huber LS學習(閾值\(\eta=1\)):

\(\eta\)非常小是, Huber LS是L1損失的平滑近似, 故可通過反復加權最小二乘法對L1損失近似求解.

3.Tukey損失最小化

同Huber, 是對L1和L2損失優化組合, 平衡有效性和魯棒性的學習方法.

Tukey損失:

公式:

• 殘差絕對值\(|r|\)大于\(\eta\)(異常值)時, 以\(\frac{\eta^3}{6}\)的形式輸出, 具有非常高的魯棒性
• Tukey損失不是凸函數, 有多個局部最優解, 不易求得全局最優解
• 通過反復加權LS求局部最優解

權重函數:

\(|r| > \eta\) 時, 權重變為0, 故Tukey損失LS完全不受顯著異常值影響

Tukey損失最小化學習舉例:

4.\(L_1\)約束的Huber損失

約束條件:

• L1約束LS: 通過L2約束的LS反復迭代求得
• Huber損失最小化: 加權LS反復迭代求得
• 上述兩者都是最小二乘法(LS)反復迭代, 通過二者優化組合, 可得L1約束的Huber損失最小化算法

以高斯核模型:

為例, 下面展示了L1約束Huber損失最小化迭代求解過程:

高斯核模型L1約束的Huber損失最小化學習舉例:

• L2損失LS數值上不穩定, 在矩陣KWK對角中加入\(10^{-6}\)以穩定
• L2損失LS, 無論是否有L1約束, 都易受\(x=0\)附近異常值影響
• Huber損失LS中, 無論是否有L1約束,均可很好地抑制異常值影響
• L2損失LS和Huber損失LS中50個參數全部非0
• L1約束的L2損失LS的50個參數有38個為0; L1約束的Huber損失LS的50個參數中有36個為0

轉載于:https://www.cnblogs.com/lucius/p/9488510.html

總結

以上是生活随笔為你收集整理的图解机器学习读书笔记-CH6的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。