讀《一天搞懂深度學習》ppt筆記

學習自http://www.cnblogs.com/liuyihai/p/8448977.html，推薦看這個鏈接。很全面很完整，我的筆記僅是記部分東西。

• 讀《一天搞懂深度學習》ppt筆記
  • softmax
  • 推薦的開發工具：
  • tips
    • 對訓練過程：
      • （1）選擇合適的損失
      • （2）需要mini batch
      • （3）選擇合適的激勵函數
      • （4）恰當的學習率
      • （5）momentum
    • 對測試數據：
      • 早停：
      • 權重消失
      • dropput
      • 網絡結構

softmax

輸出層：
一般情況下，輸出層可以輸出任何值：

在輸出層前加Softmax Layer:

推薦的開發工具：

tips

不要總是將原因歸到過擬合，下圖中，56層的網絡在訓練集誤差大，所以這個就是沒訓練好，而不是在測試集的過擬合。
20層的是過擬合。

對訓練過程：

（1）選擇合適的損失

（2）需要mini batch

也就是批梯度下降法。快而且好的方法。

每100個數據進行一次梯度下降
整個訓練集數據拿來訓練20輪
- 每輪整個數據集迭代結束后，對數據進行一次打亂，即shuffle

（3）選擇合適的激勵函數

可以解決梯度消失問題
很多都是用relu作為激勵函數。

（4）恰當的學習率

Adagrad可以達到學習率由大變小：

（5）momentum

對測試數據：

早停：

權重消失

L1正則化其實就是這個

dropput

在訓練集上：
在每一個mini batch 數據迭代更新完權重后，重新抽樣dropout的神經元。這樣，每個mini batch 訓練的都是一個新結構的網絡。網絡的結構在重新抽樣中被改變了。
在測試集上：
不能dropout
dropout和maxout在一起可以工作的更好

網絡結構

總結

以上是生活随笔為你收集整理的读《一天搞懂深度学习》ppt的笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。