偏差與方差

在機(jī)器學(xué)習(xí)中，偏差（bias） 反映了模型無(wú)法描述數(shù)據(jù)規(guī)律，而 方差（variance） 反映了模型對(duì)訓(xùn)練集過(guò)度敏感，而丟失了數(shù)據(jù)規(guī)律，高偏差和高方差都會(huì)造成新數(shù)據(jù)到來(lái)時(shí)，模型給出錯(cuò)誤的預(yù)測(cè)。

通過(guò) 診斷（Diagnose） 模型是出現(xiàn)了高偏差問(wèn)題還是高方差問(wèn)題，我們能對(duì)癥下藥，采取不同的解決策略。

多項(xiàng)式回歸中偏差與方差

在前面的章節(jié)中，我們知道，多項(xiàng)式回歸中，如果多項(xiàng)式次數(shù)較高，則容易造成過(guò)擬合，此時(shí)訓(xùn)練誤差很低，但是對(duì)于新數(shù)據(jù)的泛化能力較差，導(dǎo)致交叉驗(yàn)證集和測(cè)試集的誤差都很高，此時(shí)模型出現(xiàn)了高方差：

$$J_{train}(\theta )issmall$$$$J_{cv}(\theta )>>j_{test}(\theta )$$

而當(dāng)次數(shù)較低時(shí)，又易出現(xiàn)欠擬合的狀況，此時(shí)無(wú)論是訓(xùn)練集，交叉驗(yàn)證集，還是測(cè)試集，都會(huì)有很高的誤差，此時(shí)模型出現(xiàn)了高偏差：

$$J_{train}(\theta )islarge$$$$J_{cv}(\theta )\approx j_{test}(\theta )$$

下圖反映了訓(xùn)練集、交叉驗(yàn)證集誤差隨多項(xiàng)式次數(shù) $d$ 的變化規(guī)律：

正規(guī)化過(guò)程的偏差與方差

正規(guī)化（Regularization）能幫我們解決過(guò)擬合問(wèn)題， $\lambda$ 取值越大，對(duì)參數(shù) $\theta$ 的懲罰力度就越大，能夠幫助解決過(guò)擬合問(wèn)題，但是，如果懲罰過(guò)重，也會(huì)造成欠擬合問(wèn)題，即會(huì)出現(xiàn)高偏差。如果 $\lambda$ 取值較小，則意味著沒(méi)有懲罰 $\theta$ ，也就不能解決過(guò)擬合問(wèn)題，會(huì)出較高方差：

下圖反映了正規(guī)化過(guò)程中，訓(xùn)練集、交叉驗(yàn)證集誤差隨 $\lambda$ 變化的曲線：

樣本數(shù)目對(duì)與偏差方差的影響

當(dāng)訓(xùn)練樣本的數(shù)目 $m$ 較小時(shí)，意味著可供學(xué)習(xí)的知識(shí)較少，則模型在訓(xùn)練階段不容易犯錯(cuò)誤（訓(xùn)練集誤差極低），但也發(fā)現(xiàn)不了數(shù)據(jù)的規(guī)律（交叉驗(yàn)證集誤差極高）；而當(dāng)樣本數(shù)目增多時(shí)，意味著需要學(xué)習(xí)的知識(shí)增多，則模型雖然在訓(xùn)練階段容易犯一些錯(cuò)（訓(xùn)練集誤差開(kāi)始增高），但也更容易探測(cè)出數(shù)據(jù)規(guī)律（交叉驗(yàn)證集誤差降低）：

如果模型出現(xiàn)了高偏差，即出現(xiàn)了欠擬合，學(xué)習(xí)曲線隨樣本數(shù)目的變化曲線如下圖所示，即增加樣本數(shù)目，仍無(wú)法顯著降低交叉驗(yàn)證集誤差，即無(wú)法提高模型的泛化能力：

如果模型出現(xiàn)了高方差，即出現(xiàn)了過(guò)擬合，學(xué)習(xí)曲線隨著樣本數(shù)目變化的曲線如下圖所示，即增加樣本數(shù)目，可以顯著降低交叉驗(yàn)證集的誤差，提高模型的泛化能力：

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)偏差方差的影響

當(dāng)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)簡(jiǎn)單時(shí)，則易出現(xiàn)高偏差：

當(dāng)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)過(guò)于復(fù)雜時(shí)，則易出現(xiàn)高方差，此時(shí)可以通過(guò)增大 $\lambda$ 來(lái)解決：

總結(jié)

現(xiàn)在，通過(guò)診斷模型是出現(xiàn)了高偏差還是高方差問(wèn)題，我們對(duì)于在陷入不歸路的調(diào)試中提到算法優(yōu)化手段有了各自的使用場(chǎng)景：

Column 1Column 2

centered 文本居中	right-aligned 文本居右

手段使用場(chǎng)景

采集更多的樣本	高方差
降低特征維度	高方差
采集更多的特征	高偏差
進(jìn)行高次多項(xiàng)式回歸	高偏差
降低參數(shù) $\lambda$	高方差
增大參數(shù) $\lambda$	高偏差

總結(jié)

以上是生活随笔為你收集整理的4.3 偏差与方差-机器学习笔记-斯坦福吴恩达教授的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。