一. 模型的泛化與過擬合

在上一節(jié)中，我們的預測函數(shù)為：

f(x;ω)=ωTx
其中，
x=[x1],ω=[ω1ω0]
上述稱為線性模型，我們也可以將 x擴展為：
x=?????????xn?x2x1?????????,ω=?????????ωn?ω2ω1ω0?????????
那么預測函數(shù) f(x;w)就變?yōu)橐粋€非線性函數(shù)。預測函數(shù)的次數(shù)越高，越能準確地擬合訓練數(shù)據(jù)。在某些情況下，高次預測函數(shù)會擬合大部分或全部訓練數(shù)據(jù)，這時，我們就說這個模型過擬合。因為這種過度擬合訓練數(shù)據(jù)的模型對未知數(shù)據(jù)的預測就不是那么準確了，它對訓練數(shù)據(jù)外的其它數(shù)據(jù)是相當敏感的，也就是說它不夠泛化。所以我們需要一個最好的模型，也就是說我們需要的模型誤差要最小，而且還有一定的泛化能力。

二. 正則化最小二乘法

要避免模型過擬合，我們可以選擇部分數(shù)據(jù)進行模型的訓練，也可以利用正則化方法。一般來講，正則化，有L1正則和L2正則，它們都是基于Lp范數(shù)的:

Lp=(∑in|xi|p)1p
這里我們選擇模型的復雜度為L2正則： ∑niω2i,寫為向量形式為： ωTω。關(guān)于正則化的詳細內(nèi)容，可以參考：
http://blog.csdn.net/heyongluoyao8/article/details/49429629

那么我們新的損失函數(shù)可以寫為：

L′=L+λωTω=1N(ωTXTXω?2ωTXTy+yTy)+λωTω
同樣的對上式求偏導數(shù)：
?L?ω=1N(2XTXω?2XTy)+2λω=0?(XTX+NλI)ω=XTy?ω=(XTX+NλI)?1XTy
選擇 λ的值就是選擇多項式擬合函數(shù)時，折中過擬合/泛化的過程。值太小，過擬合；值太大，不利于數(shù)據(jù)的逼近。至于 λ的選擇，可以采用交叉驗證獲得最好預測性能的 λ。

總結(jié)

以上是生活随笔為你收集整理的机器学习笔记（三）——正则化最小二乘法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。