在深度學習中，數據過擬合，欠擬合的問題很常見，先總結一下：過擬合稱為高方差，欠擬合稱為高偏差。

可能只看偏差，方差不是很理解，下面先來個百度百科看一下。

偏差(統計學概念)

偏差又稱為表觀誤差，是指個別測定值與測定的平均值之差，它可以用來衡量測定結果的精密度高低。在統計學中，偏差可以用于兩個不同的概念，即有偏采樣與有偏估計。一個有偏采樣是對總樣本集非平等采樣，而一個有偏估計則是指高估或低估要估計的量

方差

方差是在概率論和統計方差衡量隨機變量或一組數據時離散程度的度量。概率論中方差用來度量隨機變量和其數學期望(即均值)之間的偏離程度。統計中的方差(樣本方差)是每個樣本值與全體樣本值的平均數之差的平方值的平均數。在許多實際問題中，研究方差即偏離程度有著重要意義。

方差是衡量源數據和期望值相差的度量值。

看到這兩個解釋我就暈了，跟神經網絡中的偏差，方差還是有些區別的，下面先看一下偏差和方差是什么樣子，然后再說一下我的理解。

最左邊的圖是一個高偏差狀態，中間的是適度擬合，也是我們想要達到的狀態，右圖是一個高方差的狀態。

偏差，是指預測結果和真實值之間的差異，在神經網絡中，如果神經網絡模型過于簡單，層數很少，神經模型無法學習到樣本的特征，假設我們要擬合上圖的數據，簡單的網絡擬合的結果可能就是上圖最左邊，結果就是一種高偏差的狀態，在圖中表現成了一條近似線性的直線，幾乎沒有擬合數據。很多數據被錯誤的分類。這不是我們想要的結果。

方差，如果我們用了一個比較深度很深，隱藏節點很多的一個復雜的分類器去擬合上圖的數據集，大而深的神經網絡可以充分學習到樣本的特征，但是設置不好就會得到上圖最右邊的結果，我們稱之為高方差，有的人可能會問了，這個不是擬合的最好嗎，為什么中間擬合的結果是我們最想要的呢？

舉個例子，假如上圖是腫瘤和年齡的數據，橫軸是年齡，縱軸是腫瘤大小，左下方是陰性(非腫瘤)，右上方是陽性(腫瘤)，右圖擬合進入陰性的那個最上方的很顯然是陽性概率更大一些，但是這個分類器卻分為陰性，而最下方的X這個數據，更靠近陰性，所以是陰性的概率更大一些，卻分類為陽性，所以這種分類結果也是我們不想要的。

重點來了

為了更好的理解高方差和高偏差，我打個比方，把神經網絡比作學生，訓練集樣本比作試卷中的試題(每個試卷中都有幾個偏題，怪題)，訓練神經網絡就是等同于讓學生通過給的試卷來找出其中題目的規律，之后讓神經網絡識別為其他樣本數據就相當于用其他試題來考學生的學習情況，如果學生通過這套試卷的學習，除了偏題，怪題之外的題目都能做對，表明學生對試卷中的題目掌握到了其中的規律，在神經網絡中就是適度擬合，就是我們想要的結果，如果學生做題很多都錯了，說明學生沒有對訓練題目有很好的掌握，在神經網絡中就表現為欠擬合，如果學生做了滿分，但是換了其他試卷就做不到滿分了，因為不同的試卷偏題怪題是不一樣的，這在神經網絡中叫做過擬合。怎么樣，這樣一類比，是不是很清楚了？

目前對于偏差和方差常見的解決方法有兩個，一個是正則化，另一個是用更多的數據，第二種方法就像是考試，見得題多了，解的題多了，自然見到其他的題也能輕松解決，神經網絡也是一樣，需要給他喂入更多的數據，讓它從中找出規律。

總結

以上是生活随笔為你收集整理的三个变量中怎么找出中间值_一文理解神经网络中的偏差和方差的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。