卷積神經網絡（CNN）

一、CNN簡介

? 卷積神經網絡（CNN）是一種常見的深度學習架構，受生物自然視覺認知機制啟發而來，20世紀 90 年代，LeCun et al. 等人發表論文，確立了CNN的現代結構。

? 人類識別圖像的過程：瞳孔攝入像素；大腦皮層某些細胞初步處理，發現形狀邊緣、方向；抽象判定形狀（如圓形、方形）；進一步抽象判定（如判斷物體是氣球）

CNN模仿人類識別圖像的多層過程：

二、CNN網絡結構

CNN流程圖：

? 主要是通過卷積、池化進行特征提取

（1）卷積層

? 卷積是CNN的核心，是用卷積核掃描圖像，得到相應的特征。卷積核可以理解成過濾器（或圖像掃描器、特征掃描器、局部感受野）。

四個超參數：Stride (S) Filter size(F) Filter number(K) Padding§

計算過程：

Output size的計算：

Input volume size (W) = 6 Stride (S) = 1 Filter(F) = 4 Padding§ = 0 --> output size = 3

Input volume size (W) = 6 Stride (S) = 2 Filter(F) = 4 Padding§ = 2 --> output size = 4

? 如果模型的參數越多，模型越復雜，容易過擬合。針對這個問題，卷積層可以通過參數共享和稀疏連接進行優化。

卷積層的特點：參數共享，稀疏連接

a. 參數共享：

e.g.

W=227, F=11, S=4, P=0, K=96

輸出數據： output size: 555596

參數不共享： 有555596*(11113)=290400*364=105705600個參數。

參數共享后： 共有96x11x11x3=34,848個不同的權重，或34,944個參數（+96個偏差）。

b. 稀疏連接：

? 關注局部信息，減少模型的存儲需求，減少計算量。

? 例如，當處理一張圖像時，輸入的圖像可能包含成千上萬個像素點，但是我們可以通過只占用幾十到上百個像素點的核來檢測一些小的有意義的特征，例如圖像的邊緣。這意味著我們需要存儲的參數更少，不僅減少了模型的存儲需求，而且提高了它的統計效率。這也意味著為了得到輸出我們只需要更少的計算量。這些效率上的提高往往是很顯著的。

（2）激活函數：

? 把卷積層輸出結果做非線性映射

? 常用的非線性激活函數有sigmoid、tanh、relu等，前兩者sigmoid/tanh比較常見于全連接層，后者relu常見于卷積層。

? 對于輸入的負值，輸出全為0，對于正值，原樣輸出

（3）池化層

? 對輸入的特征圖進行壓縮，一方面使特征圖變小，簡化網絡計算復雜度；一方面進行特征壓縮，提取主要特征。

? 常用的池化方法：最大池化、平均池化

$$W2=(W1?F)/S+1$$
? 注意：在池化層中很少使用零填充。

? 池化層特點：降采樣、平移不變性

? a. 降采樣

? b. 平移的不變性：即當輸入做出少量平移時，經過池化函數后的大多數輸出并不會發生改變

? 池化層負責對輸入數據的空間維度進行降采，但可能會造成數據丟失。

（4）全連接層

? 將輸出的特征圖進行Flatten扁平化，將二維矩陣變為一維，再乘以權重，最后將輸出值傳給分類器（如softmax分類器）

? 使用全連接層可能帶來的缺點：過擬合、Flatten造成空間結構的缺失、參數巨大、對輸入有固定要求

（5）其他：

• 正則化：DropOut等
• 優化：初始化權重、隨機梯度下降、批量標準化等?
• 卷積神經網絡的優缺點：
  • 優點：
    • 共享卷積核，對高維數據處理無壓力
    • 無需手動選取特征，訓練好權重，即得特征
    • 分類效果好
  • 缺點：
  • 需要調參，需要大樣本量，訓練最好要用GPU
  • 黑盒，物理含義不明確，可解釋性較差

三、CNN經典架構與常用框架

（1）經典架構

• LeNet-5：1998年由Yann LeCun等人提出，在手寫數字識別上低于1%的錯誤率
• AlexNet：2012年，Alex Krizhevsky提出AlexNet網絡，一舉奪得ImageNet圖像分類大賽冠軍，CNN的新生
• ZF Net：2013 ILSVRC比賽冠軍
• GoogLeNet：2014 ILSVRC比賽冠軍
• VGGNet： 2014 ILSVRC比賽中的模型，圖像識別略差于GoogLeNet，但是在很多圖像轉化學習問題(比如object detection)上效果奇好。
• ResNe：2015年被提出，在ImageNet比賽classification任務上獲得第一名

（2）常用框架

• Caffe：源于Berkeley的主流CV工具包，支持C++、python、matlab，Model Zoo中有大量預訓練好的模型供使用
• TensorFlow：Google的深度學習框架，TensorBoard可視化很方便，數據和模型并行化好，速度快
• Torch：Facebook用的卷積神經網絡工具包,通過時域卷積的本地接口，使用非常直觀,定義新網絡層簡單

四、CNN應用

? 圖像分類、物體檢測、物體追蹤、姿態預估、文本檢測識別、視覺 saliency 檢測、行動識別、場景標記

總結

以上是生活随笔為你收集整理的卷积神经网络（CNN）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。