作者主頁(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

?

本文網址：https://blog.csdn.net/HiWangWenBing/article/details/120837261

---

目錄

第1章 卷積神經網絡基礎

1.1 卷積神經發展與進化史

1.2 卷積神經網絡的核心要素

1.3 卷積神經網絡的描述方法

1.4 人工智能三巨頭? + 華人圈名人

第2章 AlexNet概述

2.1 AlexNet的作者其人

2.2 AlexNet概述

2.3?AlexNet的特點

第3章 AlexNet網絡結構闡述

3.1 網絡架構描述：厚度法

3.2 網絡架構描述：垂直法

3.3 分層解讀

---

第1章 卷積神經網絡基礎

1.1 卷積神經發展與進化史

?AlexNet是深度學習的起點，后續各種深度學習的網絡或算法，都是源于AlexNet網絡。

[人工智能-深度學習-31]：卷積神經網絡CNN - 常見卷積神經網絡綜合比較大全_文火冰糖（王文兵）的博客-CSDN博客作者主頁(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文網址：第1章 人工智能發展的3次浪潮1.1人工智能的發展報告2011-2020資料來源：清華大學、中國人工智能學會《人工智能的發展報告2011-2020》，賽迪研究院、人工智能產業創新聯盟《人工智能實踐錄》，中金公司研究部? 第一次浪潮（1956-1974年）：AI思潮賦予機器邏輯推理能力。伴隨著“人工智能”這一新興概念的興起，人們對AI的未來充滿了想象，人工智能迎來第一次發展浪潮。這.https://blog.csdn.net/HiWangWenBing/article/details/120835303

1.2 卷積神經網絡的核心要素

[人工智能-深度學習-27]：卷積神經網絡CNN - 核心概念（卷積、滑動、填充、參數共享、通道）_文火冰糖（王文兵）的博客-CSDN博客作者主頁(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文網址：目錄第1章 卷積中的“積”的定義第2章 卷積中的“卷”的定義第3章 填充第4章 單個卷積核的輸出第5章 多個卷積核的輸出第6章 卷積對圖形變換第7章 池化層第8章 全連接的dropout第1章 卷積中的“積”的定義第2章 卷積中的“卷”的定義stride：反映的每次移動的像素點的個數。第3章 填充...https://blog.csdn.net/HiWangWenBing/article/details/120806277

1.3 卷積神經網絡的描述方法

[人工智能-深度學習-28]：卷積神經網絡CNN - 網絡架構與描述方法_文火冰糖（王文兵）的博客-CSDN博客作者主頁(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文網址：目錄第1章 什么是卷積神經網絡第2章 卷積神經網絡的描述方法第3章 卷積神經網絡的本質第4章 卷積神經網絡的總體框框第5章卷積神經網絡的發展與常見類型與分類第6章 常見的卷積神經網絡6.1 AlexNet6.2 VGGNet6.3 GoogleNet： inception結構6.4 google net6.5 ResNet第7章 常見圖形訓練庫第1.https://blog.csdn.net/HiWangWenBing/article/details/120806599

1.4 人工智能三巨頭? + 華人圈名人

Yoshua Bengio、Yann LeCun、Geoffrey Hinton共同獲得了2018年的圖靈獎。

杰弗里·埃弗里斯特·辛頓（Geoffrey Everest Hinton），計算機學家、心理學家，被稱為“神經網絡之父”、“深度學習鼻祖”。Hinton是機器學習領域的加拿大首席學者，是加拿大高等研究院贊助的“神經計算和自適應感知”項目的領導者，是蓋茨比計算神經科學中心的創始人，目前擔任多倫多大學計算機科學系教授。2013年3月，谷歌收購 Hinton 的公司 DNNResearch 后，他便隨即加入谷歌，直至目前一直在 Google Brain 中擔任要職。

Yoshua Bengio是蒙特利爾大學（Université de Montréal）的終身教授，任教超過22年，是蒙特利爾大學機器學習研究所（MILA）的負責人，是CIFAR項目的負責人之一，負責神經計算和自適應感知器等方面，又是加拿大統計學習算法學會的主席，是ApSTAT技術的發起人與研發大牛。Bengio在蒙特利爾大學任教之前，是AT&T貝爾實驗室 & MIT的機器學習博士后。

Yann LeCun，擔任Facebook首席人工智能科學家和紐約大學教授，1987年至1988年，Yann LeCun是多倫多大學Geoffrey Hinton實驗室的博士后研究員。

第2章 AlexNet概述

2.1 AlexNet的作者其人

烏克蘭出生、加拿大長大的Alex Krizhevsky，是Hinton在多倫多大學計算機科學博士生，2012 年，在 Hinton 的指導下， Alex Krizhevsky 和 Hinton 的另一個學生 IIya Sutskever 參加了當年的 ImageNet 挑戰賽。ImageNet 是一個大型視覺數據集，由李飛飛所主導創造，擁有 1400 多萬張標注過的圖像。2010 年起，基于 ImageNet 數據集的視覺識別挑戰賽每年舉辦一次。

Alex Krizhevsky和 Sutskever用Alex Krizhevsky設計的卷積神經網絡（CNN）參加比賽。兩個研究深度學習沒幾年的學生，卻以 10.8% 的巨大優勢擊敗了其他對手，包括一些學術界的頂級團隊。而Alex Krizhevsky 設計的那個神經網絡，后來被命名為 AlexNet。

2.2 AlexNet概述

AlexNet網絡是Hinton率領的谷歌團隊（Alex Krizhevsky，Ilya Sutskever，Geoffrey E. Hinton）在2010年的ImageNet大賽獲得冠軍的一個神經網絡。

如果用全連接神經網絡處理大尺寸圖像具有三個明顯的缺點：

（1）首先將圖像展開為一維向量會丟失空間信息；

（2）其次參數過多效率低下，訓練困難、耗時；

（3）同時大量的參數也很快會導致網絡過擬合。

而使用卷積神經網絡可以很好地解決上面的三個問題。

AlexNet網絡，是2012年ImageNet競賽冠軍獲得者Hinton和他的學生Alex Krizhevsky設計的。在那年之后，更多的更深的神經網路被提出，比如優秀的vgg,GoogleLeNet。其官方提供的數據模型，準確率達到57.1%,top 1-5 達到80.2%. 這相對于傳統的機器學習分類算法而言，已經相當的出色.

論文：《ImageNet Classification with Deep Convolutional Neural Networks》

與常規神經網絡不同，卷積神經網絡的各層中的神經元是3維排列的：寬度、高度和深度。其中的寬度和高度是很好理解的，因為本身卷積就是一個二維模板，但是在卷積神經網絡中的深度指的是卷積核神經元的第三個維度，而不是整個網絡的深度，整個網絡的深度指的是網絡的層數。

2.3?AlexNet的特點

AlexNet中包含了幾個比較新的技術點，也首次在CNN中成功應用了ReLU、Dropout和LRN等Trick。同時AlexNet也使用了GPU進行運算加速。

AlexNet將LeNet的思想發揚光大，把CNN的基本原理應用到了很深很寬的網絡中。

AlexNet主要使用到的新技術點如下：

（1）ReLU的成功使用與推廣

成功使用ReLU作為CNN的激活函數，并驗證其效果在較深的網絡超過了Sigmoid，成功解決了Sigmoid在網絡較深時的梯度彌散問題。雖然ReLU激活函數在很久之前就被提出了，但是直到AlexNet的出現才將其發揚光大。

線性整流函數（Rectified Linear Unit,?ReLU），又稱修正線性單元，是一種人工神經網絡中常用的激活函數（activation function），通常指代以斜坡函數及其變種為代表的非線性函數。?

（2）Dropout的首次實用化

訓練時使用Dropout隨機忽略一部分神經元，以避免模型過擬合。Dropout雖有單獨的論文論述，但是AlexNet將其實用化，通過實踐證實了它的效果。在AlexNet中主要是最后幾個全連接層使用了Dropout。

深度學習架構現在變得越來越深，dropout作為一個防過擬合的手段，使用也越來越普遍。

2012年，Dropout的想法被首次提出，它的出現徹底改變了深度學習進度，之后深度學習方向（反饋模型）開始展現優勢，傳統的機器學習慢慢的消聲。

dropout改變之前稠密網絡中，權重統一學習，參數統一更新的模式，提出在每次訓練迭代中，讓網絡中的部分參數得到學習，即部分參數得到更新，部分參數保持不更新。

?這種方法，看起來簡單，但是卻解決了，困擾了深度學習方向，一直只能用淺層網絡，無法使用深度網絡的尷尬局面，（因為隨著網絡的層數加大，過擬合問題一定會出現）

（3）首次使用最大池化

在CNN中使用重疊的最大池化。此前CNN中普遍使用平均池化，AlexNet全部使用最大池化，避免平均池化的模糊化效果。并且AlexNet中提出讓步長比池化核的尺寸小，這樣池化層的輸出之間會有重疊和覆蓋，提升了特征的豐富性。

常用的池化方法有最大池化（max-pooling）和均值池化（mean-pooling）。根據相關理論，特征提取的誤差主要來自兩個方面：

（1）鄰域大小受限造成的估計值方差增大；

（2）卷積層參數誤差造成估計均值的偏移。

一般來說，mean-pooling能減小第一種誤差，更多的保留圖像的背景信息，max-pooling能減小第二種誤差，更多的保留紋理信息。與mean-pooling近似，在局部意義上，則服從max-pooling的準則。

max-pooling卷積核的大小一般是2×2。 非常大的輸入量可能需要4x4。 但是，選擇較大的形狀會顯著降低信號的尺寸，并可能導致信息過度丟失。 通常，不重疊的池化窗口表現最好。

（4）LRN（局部歸一化）競爭機制

提出了LRN層，對局部神經元的活動創建競爭機制，使得其中響應比較大的值變得相對更大，并抑制其他反饋較小的神經元，增強了模型的泛化能力。

LRN（Local Response Normalization）?是一種提高深度學習準確度的技術方法。 LRN 一般是在激活、 池化函數后的一種方法。

（5）GPU并行運算

使用CUDA GPU加速深度卷積網絡的訓練，利用GPU強大的并行計算能力，處理神經網絡訓練時大量的矩陣運算。

AlexNet使用了兩塊GTX?580?GPU進行訓練，單個GTX?580只有3GB顯存，這限制了可訓練的網絡的最大規模。因此作者將AlexNet分布在兩個GPU上，在每個GPU的顯存中儲存一半的神經元的參數。因為GPU之間通信方便，可以互相訪問顯存，而不需要通過主機內存，所以同時使用多塊GPU也是非常高效的。同時，AlexNet的設計讓GPU之間的通信只在網絡的某些層進行，控制了通信的性能損耗。?

（6）數據增強

隨機地從256*256的原始圖像中截取224*224大小的區域（以及水平翻轉的鏡像），相當于增加了2*(256-224)^2=2048倍的數據量。

如果沒有數據增強，僅靠原始的數據量，參數眾多的CNN會陷入過擬合中，使用了數據增強后可以大大減輕過擬合，提升泛化能力，這類似人眼，人眼可以實時的、以各種角度觀看和學習一個物理。進行預測時，則是取圖片的四個角加中間共5個位置，并進行左右翻轉，一共獲得10張圖片，對他們進行預測并對10次結果求均值。同時，AlexNet論文中提到了會對圖像的RGB數據進行PCA處理，并對主成分做一個標準差為0.1的高斯擾動，增加一些噪聲，這個Trick可以讓錯誤率再下降1%。

第3章 AlexNet網絡結構闡述

3.1 網絡架構描述：厚度法

在上圖中，該網絡有上下兩路，兩路是完全相同的并行單元，之所以這樣表示，而不是合成一路，是因為當時的單個GPU沒有那么大的內存，AlexNet是通過兩個物理的GPU同時訓練。邏輯上，上下兩路是可以合在一起的。

（0）輸入層：

• 224 * 224 * 3的三通道圖片

（1）卷積層1

• 卷積核的尺寸：11 * 11， 從目前 來看，還是偏大的。
• 卷積核的平移步長：4：目前來來看，也是偏大的
• 填充層：0， 無填充
• 卷積核的卷積輸出：55 * 55
• 卷積核的個數：48 * 2?= 96

（2）卷積層2：

• 卷積核的尺寸：5 * 5，?
• 卷積核的卷積輸出：27? * 27
• 卷積核的個數：128 * 2 = 256

（3）卷積層3：

• 卷積核的尺寸：3?* 3，?
• 卷積核的卷積輸出：13? * 13
• 卷積核的個數：192 * 2 = 384

（4）卷積層4：

• 卷積核的尺寸：3?* 3，?
• 卷積核的卷積輸出：13? * 13
• 卷積核的個數：192 * 2 = 384

（5）卷積層5：

• 卷積核的尺寸：3?* 3，?
• 卷積核的卷積輸出：13? * 13
• 卷積核的個數：128 * 128?= 256

（6）全連接層1：

• 輸入：13 * 13 * 256 = 43,264? (進入全連接網絡的特征數據)
• 神經元個數：2048 * 2 = 4096
• 輸出：4096

（7）全連接層2：

• 輸入：4096
• 神經元個數：2048 * 2 = 4096
• 輸出：4096

（8）輸出層

• 輸入：4096 （進行最后分類的特征數據）
• 神經元個數：1000
• 輸出：1000（支持1000個分類）

備注：由于激活函數和池化層不是神經元，因此沒有在上圖中體現。

3.2 網絡架構描述：垂直法

?

（1）采用了最大池化（Max Pooling），池化核為3 * 3， 步長為2

（2）Local Response Normal：局部歸一化競爭機制，后來被驗證，用處不大。

（3）總的參數個數：35K + 307K + 884 + 1.3M + 442K + 37M + 16M + 4M = 59.968M

（4）等效FLOPs（是“每秒所執行的浮點運算次數”）：720M

• 全連接層的參數大小與浮點計算量的關系是：一致的、相等的。
• 卷積層的參數雖然少（如上圖中卷積層1的參數= 35K = 11*11*3 * 96)，等卷積的計算量一點都不少(如卷積層1的參數計算量=105M)，且遠遠大于全連接網絡。
• 卷積層的參數大小與浮點計算量的關系是 = 卷積尺寸（長*寬*高）*? 特征圖尺寸（長*寬*卷積核數量），例如，第一個卷積層的計算量 = (11 * 11 *3) * (55 * 55 * 96)? = 105,415, 200

3.3 分層解讀

---

作者主頁(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文網址：https://blog.csdn.net/HiWangWenBing/article/details/120837261

總結

以上是生活随笔為你收集整理的[人工智能-深度学习-32]：卷积神经网络CNN - 常见分类网络- AlexNet网络结构分析与详解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。