常用的幾種卷積神經(jīng)網(wǎng)絡(luò)介紹
標(biāo)簽（空格分隔）： 深度學(xué)習(xí)

這是一篇基礎(chǔ)理論的博客，基本手法是抄、刪、改、查，畢竟介紹這幾個基礎(chǔ)網(wǎng)絡(luò)的博文也挺多的，就算是自己的一個筆記吧，以后忘了多看看。主要是想介紹下常用的幾種卷積神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)最初為解決圖像識別問題而提出，目前廣泛應(yīng)用于圖像，視頻，音頻和文本數(shù)據(jù)，可以當(dāng)做深度學(xué)習(xí)的代名詞。目前圖像分類中的ResNet, 目標(biāo)檢測領(lǐng)域占統(tǒng)治地位的Faster R-CNN，分割中最牛的Mask-RCNN, UNet和經(jīng)典的FCN都是以下面幾種常見網(wǎng)絡(luò)為基礎(chǔ)。

LeNet
網(wǎng)絡(luò)背景

LeNet誕生于1994年，由深度學(xué)習(xí)三巨頭之一的Yan LeCun提出，他也被稱為卷積神經(jīng)網(wǎng)絡(luò)之父。LeNet主要用來進(jìn)行手寫字符的識別與分類，準(zhǔn)確率達(dá)到了98%，并在美國的銀行中投入了使用，被用于讀取北美約10%的支票。LeNet奠定了現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。

網(wǎng)絡(luò)結(jié)構(gòu)?

上圖為LeNet結(jié)構(gòu)圖，是一個6層網(wǎng)絡(luò)結(jié)構(gòu)：三個卷積層，兩個下采樣層和一個全連接層（圖中C代表卷積層，S代表下采樣層，F代表全連接層）。其中，C5層也可以看成是一個全連接層，因為C5層的卷積核大小和輸入圖像的大小一致，都是5*5（可參考LeNet詳細(xì)介紹）。

網(wǎng)絡(luò)特點

每個卷積層包括三部分：卷積、池化和非線性激活函數(shù)（sigmoid激活函數(shù)）
使用卷積提取空間特征
降采樣層采用平均池化

AlexNet
網(wǎng)絡(luò)背景

AlexNet由Hinton的學(xué)生Alex Krizhevsky于2012年提出，并在當(dāng)年取得了Imagenet比賽冠軍。AlexNet可以算是LeNet的一種更深更寬的版本，證明了卷積神經(jīng)網(wǎng)絡(luò)在復(fù)雜模型下的有效性，算是神經(jīng)網(wǎng)絡(luò)在低谷期的第一次發(fā)聲，確立了深度學(xué)習(xí)，或者說卷積神經(jīng)網(wǎng)絡(luò)在計算機視覺中的統(tǒng)治地位。

網(wǎng)絡(luò)結(jié)構(gòu)?
?
AlexNet的結(jié)構(gòu)及參數(shù)如上圖所示，是8層網(wǎng)絡(luò)結(jié)構(gòu)（忽略激活，池化，LRN，和dropout層）,有5個卷積層和3個全連接層，第一卷積層使用大的卷積核，大小為11*11，步長為4，第二卷積層使用5*5的卷積核大小，步長為1，剩余卷積層都是3*3的大小，步長為1。激活函數(shù)使用ReLu（雖然不是他發(fā)明，但是他將其發(fā)揚光大），池化層使用重疊的最大池化，大小為3*3，步長為2。在全連接層增加了dropout，第一次將其實用化。（參考：AlexNet詳細(xì)解釋）

網(wǎng)絡(luò)特點

使用兩塊GPU并行加速訓(xùn)練，大大降低了訓(xùn)練時間
成功使用ReLu作為激活函數(shù)，解決了網(wǎng)絡(luò)較深時的梯度彌散問題
使用數(shù)據(jù)增強、dropout和LRN層來防止網(wǎng)絡(luò)過擬合，增強模型的泛化能力

VggNet
網(wǎng)絡(luò)背景

VGGNet是牛津大學(xué)計算機視覺組和Google DeepMind公司一起研發(fā)的深度卷積神經(jīng)網(wǎng)絡(luò)，并取得了2014年Imagenet比賽定位項目第一名和分類項目第二名。該網(wǎng)絡(luò)主要是泛化性能很好，容易遷移到其他的圖像識別項目上，可以下載VGGNet訓(xùn)練好的參數(shù)進(jìn)行很好的初始化權(quán)重操作，很多卷積神經(jīng)網(wǎng)絡(luò)都是以該網(wǎng)絡(luò)為基礎(chǔ)，比如FCN，UNet，SegNet等。vgg版本很多，常用的是VGG16，VGG19網(wǎng)絡(luò)。

網(wǎng)絡(luò)結(jié)構(gòu)?

上圖為VGG16的網(wǎng)絡(luò)結(jié)構(gòu)，共16層（不包括池化和softmax層），所有的卷積核都使用3*3的大小，池化都使用大小為2*2，步長為2的最大池化，卷積層深度依次為64 -> 128 -> 256 -> 512 ->512。

網(wǎng)絡(luò)特點?
網(wǎng)絡(luò)結(jié)構(gòu)和AlexNet有點兒像，不同的地方在于：

主要的區(qū)別，一個字：深，兩個字：更深。把網(wǎng)絡(luò)層數(shù)加到了16-19層（不包括池化和softmax層），而AlexNet是8層結(jié)構(gòu)。
將卷積層提升到卷積塊的概念。卷積塊有2~3個卷積層構(gòu)成，使網(wǎng)絡(luò)有更大感受野的同時能降低網(wǎng)絡(luò)參數(shù)，同時多次使用ReLu激活函數(shù)有更多的線性變換，學(xué)習(xí)能力更強（詳細(xì)介紹參考：TensorFlow實戰(zhàn)P110頁）。
在訓(xùn)練時和預(yù)測時使用Multi-Scale做數(shù)據(jù)增強。訓(xùn)練時將同一張圖片縮放到不同的尺寸，在隨機剪裁到224*224的大小，能夠增加數(shù)據(jù)量。預(yù)測時將同一張圖片縮放到不同尺寸做預(yù)測，最后取平均值。

ResNet
網(wǎng)絡(luò)背景

ResNet（殘差神經(jīng)網(wǎng)絡(luò)）由微軟研究院的何凱明等4名華人于2015年提出，成功訓(xùn)練了152層超級深的卷積神經(jīng)網(wǎng)絡(luò)，效果非常突出，而且容易結(jié)合到其他網(wǎng)絡(luò)結(jié)構(gòu)中。在五個主要任務(wù)軌跡中都獲得了第一名的成績：

ImageNet分類任務(wù)：錯誤率3.57%
ImageNet檢測任務(wù)：超過第二名16%
ImageNet定位任務(wù)：超過第二名27%
COCO檢測任務(wù)：超過第二名11%
COCO分割任務(wù)：超過第二名12%
作為大神級人物，何凱明憑借Mask R-CNN論文獲得ICCV2017最佳論文，也是他第三次斬獲頂會最佳論文，另外，他參與的另一篇論文：Focal Loss for Dense Object Detection，也被大會評為最佳學(xué)生論文。

網(wǎng)絡(luò)結(jié)構(gòu)?

?
上圖為殘差神經(jīng)網(wǎng)絡(luò)的基本模塊（專業(yè)術(shù)語叫殘差學(xué)習(xí)單元），輸入為x，輸出為F(x)+x，F(x)代表網(wǎng)絡(luò)中數(shù)據(jù)的一系列乘、加操作，假設(shè)神經(jīng)網(wǎng)絡(luò)最優(yōu)的擬合結(jié)果輸出為H(x)=F(x)+x，那么神經(jīng)網(wǎng)絡(luò)最優(yōu)的F(x)即為H(x)與x的殘差，通過擬合殘差來提升網(wǎng)絡(luò)效果。為什么轉(zhuǎn)變?yōu)閿M合殘差就比傳統(tǒng)卷積網(wǎng)絡(luò)要好呢？因為訓(xùn)練的時候至少可以保證殘差為0，保證增加殘差學(xué)習(xí)單元不會降低網(wǎng)絡(luò)性能，假設(shè)一個淺層網(wǎng)絡(luò)達(dá)到了飽和的準(zhǔn)確率，后面再加上這個殘差學(xué)習(xí)單元，起碼誤差不會增加。（參考：ResNet詳細(xì)解釋）?
通過不斷堆疊這個基本模塊，就可以得到最終的ResNet模型，理論上可以無限堆疊而不改變網(wǎng)絡(luò)的性能。下圖為一個34層的ResNet網(wǎng)絡(luò)。?

網(wǎng)絡(luò)特點

使得訓(xùn)練超級深的神經(jīng)網(wǎng)絡(luò)成為可能，避免了不斷加深神經(jīng)網(wǎng)絡(luò)，準(zhǔn)確率達(dá)到飽和的現(xiàn)象（后來將層數(shù)增加到1000層）
輸入可以直接連接到輸出，使得整個網(wǎng)絡(luò)只需要學(xué)習(xí)殘差，簡化學(xué)習(xí)目標(biāo)和難度。
ResNet是一個推廣性非常好的網(wǎng)絡(luò)結(jié)構(gòu)，容易和其他網(wǎng)絡(luò)結(jié)合
論文地址：?
1. LeNet論文?
2. AlexNet論文?
3. VGGNet論文?
4. ResNet論文
---------------------?
作者：feixian15?
來源：CSDN?
原文：https://blog.csdn.net/qq_34759239/article/details/79034849?
版權(quán)聲明：本文為博主原創(chuàng)文章，轉(zhuǎn)載請附上博文鏈接！

總結(jié)

以上是生活随笔為你收集整理的常用的几种卷积神经网络介绍的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。