FROm:http://blog.csdn.net/u012162613/article/details/43971215

節選自語義分析的一些方法(二)，以后會不斷補充。——by wepon

---

結合文獻『Deep Learning for Computer Vision』， 以下講講卷積神經網絡的一些注意點和問題。

• 激勵函數，要選擇非線性函數，譬如tang，sigmoid，rectified liner。在CNN里，relu用得比較多，原因在于：(1)簡化BP計算；(2)使學習更快。(3)避免飽和問題(saturation issues)

• 池化(Pooling)：其作用在于(1)對一些小的形態改變保持不變性，Invariance to small transformations；(2)擁有更大的感受域，Larger receptive fields。pooling的方式有sum or max。

• Normalization：Equalizes the features maps。它的作用有：(1) Introduces local competition between features；(2)Also helps to scale activations at each layer better for learning；(3)Empirically, seems to help a bit (1–2%) on ImageNet

• 訓練CNN：back-propagation；stochastic gradient descent；Momentum；Classification loss，cross-entropy；Gpu實現。

• 預處理：Mean removal；Whitening(ZCA)

• 增強泛化能力：Data augmentation；Weight正則化；在網絡里加入噪聲，包括DropOut，DropConnect，Stochastic pooling。

  • DropOut：只在全連接層使用，隨機的將全連接層的某些神經元的輸出置為0。
  • DropConnect：也只在全連接層使用，Random binary mask on weights.
  • Stochastic Pooling：卷積層使用。Sample location from multinomial。

• 模型不work，怎么辦？結合我自身的經驗，learning rate初始值設置得太大，開始設置為0.01，以為很小了，但實際上0.001更合適。

總結

以上是生活随笔為你收集整理的卷积神经网络的一些细节的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。