机器学习笔记(三)——正则化最小二乘法
生活随笔
收集整理的這篇文章主要介紹了
机器学习笔记(三)——正则化最小二乘法
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
一. 模型的泛化與過擬合
在上一節(jié)中,我們的預測函數(shù)為:
其中,
x=[x1],ω=[ω1ω0]
上述稱為線性模型,我們也可以將 x擴展為:
x=?????????xn?x2x1?????????,ω=?????????ωn?ω2ω1ω0?????????
那么預測函數(shù) f(x;w)就變?yōu)橐粋€非線性函數(shù)。預測函數(shù)的次數(shù)越高,越能準確地擬合訓練數(shù)據(jù)。在某些情況下,高次預測函數(shù)會擬合大部分或全部訓練數(shù)據(jù),這時,我們就說這個模型過擬合。因為這種過度擬合訓練數(shù)據(jù)的模型對未知數(shù)據(jù)的預測就不是那么準確了,它對訓練數(shù)據(jù)外的其它數(shù)據(jù)是相當敏感的,也就是說它不夠泛化。所以我們需要一個最好的模型,也就是說我們需要的模型誤差要最小,而且還有一定的泛化能力。
二. 正則化最小二乘法
要避免模型過擬合,我們可以選擇部分數(shù)據(jù)進行模型的訓練,也可以利用正則化方法。一般來講,正則化,有L1正則和L2正則,它們都是基于Lp范數(shù)的:
這里我們選擇模型的復雜度為L2正則: ∑niω2i,寫為向量形式為: ωTω。關(guān)于正則化的詳細內(nèi)容,可以參考:
http://blog.csdn.net/heyongluoyao8/article/details/49429629
那么我們新的損失函數(shù)可以寫為:
同樣的對上式求偏導數(shù):
?L?ω=1N(2XTXω?2XTy)+2λω=0?(XTX+NλI)ω=XTy?ω=(XTX+NλI)?1XTy
選擇 λ的值就是選擇多項式擬合函數(shù)時,折中過擬合/泛化的過程。值太小,過擬合;值太大,不利于數(shù)據(jù)的逼近。至于 λ的選擇,可以采用交叉驗證獲得最好預測性能的 λ。
總結(jié)
以上是生活随笔為你收集整理的机器学习笔记(三)——正则化最小二乘法的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 机器学习笔记(十八)——HMM的参数估计
- 下一篇: UNIX再学习 -- 函数abort