機器學習基礎

下圖就是在訓練神經網絡用到的基本方法：（嘗試這些方法，可能有用，可能沒用）

這是在訓練神經網絡時用到地基本方法，初始模型訓練完成后，首先要知道算法的偏差高不高，如果偏差較高，試著評估訓練集或訓練數據的性能。如果偏差的確很高，甚至無法擬合訓練集，那么要做的就是選擇一個新的網絡，比如含有更多隱藏層或者隱藏單元的網絡，或者花費更多時間來訓練網絡，或者嘗試更先進的優化算法。

一會兒會看到許多不同的神經網絡架構，或許能找到一個更合適解決此問題的新的網絡架構，加上括號，因為其中一條就是必須去嘗試，可能有用，也可能沒用，不過采用規模更大的網絡通常都會有所幫助，延長訓練時間不一定有用，但也沒什么壞處。訓練學習算法時，會不斷嘗試這些方法，直到解決掉偏差問題，這是最低標準，反復嘗試，直到可以擬合數據為止，至少能夠擬合訓練集。

如果網絡足夠大，通常可以很好的擬合訓練集，只要能擴大網絡規模，如果圖片很模糊，算法可能無法擬合該圖片，但如果有人可以分辨出圖片，如果覺得基本誤差不是很高，那么訓練一個更大的網絡，就應該可以……至少可以很好地擬合訓練集，至少可以擬合或者過擬合訓練集。一旦偏差降低到可以接受的數值，檢查一下方差有沒有問題，為了評估方差，要查看驗證集性能，能從一個性能理想的訓練集推斷出驗證集的性能是否也理想，如果方差高，最好的解決辦法就是采用更多數據，如果能做到，會有一定的幫助，但有時候，無法獲得更多數據，也可以嘗試通過正則化來減少過擬合。有時候不得不反復嘗試，但是，如果能找到更合適的神經網絡框架，有時它可能會一箭雙雕，同時減少方差和偏差。如何實現呢？想系統地說出做法很難，總之就是不斷重復嘗試，直到找到一個低偏差，低方差的框架，這時就成功了。

有兩點需要大家注意：

第一點，高偏差和高方差是兩種不同的情況，通常會用訓練驗證集來診斷算法是否存在偏差或方差問題，然后根據結果選擇嘗試部分方法。舉個例子，如果算法存在高偏差問題，準備更多訓練數據其實也沒什么用處，至少這不是更有效的方法，所以大家要清楚存在的問題是偏差還是方差，還是兩者都有問題，明確這一點有助于選擇出最有效的方法。

第二點，在機器學習的初期階段，關于所謂的偏差方差權衡的討論屢見不鮮，原因是能嘗試的方法有很多。可以增加偏差，減少方差，也可以減少偏差，增加方差，但是在深度學習的早期階段，沒有太多工具可以做到只減少偏差或方差卻不影響到另一方。但在當前的深度學習和大數據時代，只要持續訓練一個更大的網絡，只要準備了更多數據，那么也并非只有這兩種情況，假定是這樣，那么，只要正則適度，通常構建一個更大的網絡便可以，在不影響方差的同時減少偏差，而采用更多數據通常可以在不過多影響偏差的同時減少方差。這兩步實際要做的工作是：訓練網絡，選擇網絡或者準備更多數據，現在有工具可以做到在減少偏差或方差的同時，不對另一方產生過多不良影響。覺得這就是深度學習對監督式學習大有裨益的一個重要原因，也是不用太過關注如何平衡偏差和方差的一個重要原因，但有時有很多選擇，減少偏差或方差而不增加另一方。最終，會得到一個非常規范化的網絡。

總結

以上是生活随笔為你收集整理的神经网络优化篇：机器学习基础（Basic Recipe for Machine Learning）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。