3.1 调试处理-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
| 2.11 總結 | 回到目錄 | 3.2 為超參數選擇合適的范圍 |
調試處理 (Tuning Process)
大家好，歡迎回來，目前為止，你已經了解到，神經網絡的改變會涉及到許多不同超參數的設置。現在，對于超參數而言，你要如何找到一套好的設定呢？在此視頻中，我想和你分享一些指導原則，一些關于如何系統地組織超參調試過程的技巧，希望這些能夠讓你更有效的聚焦到合適的超參設定中。
關于訓練深度最難的事情之一是你要處理的參數的數量，從學習速率 α\alphaα 到Momentum（動量梯度下降法）的參數 β\betaβ 。如果使用Momentum或Adam優化算法的參數， β1，β2\beta_1，\beta_2β1?，β2? 和 ?\epsilon? ，也許你還得選擇層數，也許你還得選擇不同層中隱藏單元的數量，也許你還想使用學習率衰減。所以，你使用的不是單一的學習率 α\alphaα 。接著，當然你可能還需要選擇mini-batch的大小。
結果證實一些超參數比其它的更為重要，我認為，最為廣泛的學習應用是 α\alphaα ，學習速率是需要調試的最重要的超參數。
除了 α\alphaα ，還有一些參數需要調試，例如Momentum參數 β\betaβ ，0.9就是個很好的默認值。我還會調試mini-batch的大小，以確保最優算法運行有效。我還會經常調試隱藏單元，我用橙色圈住的這些，這三個是我覺得其次比較重要的，相對于 α\alphaα 而言。重要性排第三位的是其他因素，層數有時會產生很大的影響，學習率衰減也是如此。當應用Adam算法時，事實上，我從不調試 β1，β2\beta_1，\beta_2β1?，β2? 和 ?\epsilon? ，我總是選定其分別為 0.9，0.9990.9，0.9990.9，0.999 和 10?810^{-8}10?8 ，如果你想的話也可以調試它們。
但希望你粗略了解到哪些超參數較為重要， α\alphaα 無疑是最重要的，接下來是我用橙色圈住的那些，然后是我用紫色圈住的那些，但這不是嚴格且快速的標準，我認為，其它深度學習的研究者可能會很不同意我的觀點或有著不同的直覺。
現在，如果你嘗試調整一些超參數，該如何選擇調試值呢？在早一代的機器學習算法中，如果你有兩個超參數，這里我會稱之為超參1，超參2，常見的做法是在網格中取樣點，像這樣，然后系統的研究這些數值。這里我放置的是5×5的網格，實踐證明，網格可以是5×5，也可多可少，但對于這個例子，你可以嘗試這所有的25個點，然后選擇哪個參數效果最好。當參數的數量相對較少時，這個方法很實用。
在深度學習領域，我們常做的，我推薦你采用下面的做法，隨機選擇點，所以你可以選擇同等數量的點，對嗎？25個點，接著，用這些隨機取的點試驗超參數的效果。之所以這么做是因為，對于你要解決的問題而言，你很難提前知道哪個超參數最重要，正如你之前看到的，一些超參數的確要比其它的更重要。
舉個例子，假設超參數1是 α\alphaα （學習速率），取一個極端的例子，假設超參數2是Adam算法中，分母中的 ?\epsilon? 。在這種情況下， α\alphaα 的取值很重要，而 ?\epsilon? 取值則無關緊要。如果你在網格中取點，接著，你試驗了 α\alphaα 的5個取值，那你會發現，無論 ?\epsilon? 取何值，結果基本上都是一樣的。所以，你知道共有25種模型，但進行試驗的 α\alphaα 值只有5個，我認為這是很重要的。
對比而言，如果你隨機取值，你會試驗25個獨立的 α\alphaα ，似乎你更有可能發現效果做好的那個。
我已經解釋了兩個參數的情況，實踐中，你搜索的超參數可能不止兩個。假如，你有三個超參數，這時你搜索的不是一個方格，而是一個立方體，超參數3代表第三維，接著，在三維立方體中取值，你會試驗大量的更多的值，三個超參數中每個都是。
實踐中，你搜索的可能不止三個超參數有時很難預知，哪個是最重要的超參數，對于你的具體應用而言，隨機取值而不是網格取值表明，你探究了更多重要超參數的潛在值，無論結果是什么。
當你給超參數取值時，另一個慣例是采用由粗糙到精細的策略。
比如在二維的那個例子中，你進行了取值，也許你會發現效果最好的某個點，也許這個點周圍的其他一些點效果也很好，那在接下來要做的是放大這塊小區域（小藍色方框內），然后在其中更密集得取值或隨機取值，聚集更多的資源，在這個藍色的方格中搜索，如果你懷疑這些超參數在這個區域的最優結果，那在整個的方格中進行粗略搜索后，你會知道接下來應該聚焦到更小的方格中。在更小的方格中，你可以更密集得取點。所以這種從粗到細的搜索也經常使用。
通過試驗超參數的不同取值，你可以選擇對訓練集目標而言的最優值，或對于開發集而言的最優值，或在超參搜索過程中你最想優化的東西。
我希望，這能給你提供一種方法去系統地組織超參數搜索過程。另一個關鍵點是隨機取值和精確搜索，考慮使用由粗糙到精細的搜索過程。但超參數的搜索內容還不止這些，在下一個視頻中，我會繼續講解關于如何選擇超參數取值的合理范圍。
課程PPT
| 2.11 總結 | 回到目錄 | 3.2 為超參數選擇合適的范圍 |
總結
以上是生活随笔為你收集整理的3.1 调试处理-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 2.11 总结-深度学习第二课《改善深层
- 下一篇： 3.2 为超参数选择合适的范围-深度学习