[人工智能-深度学习-38]：卷积神经网络CNN - 常见分类网络- ResNet网络架构分析与详解
作者主頁(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客
本文網址：https://blog.csdn.net/HiWangWenBing/article/details/120915279
目錄
第1章 卷積神經網絡基礎
1.1 卷積神經發(fā)展與進化史
1.2 卷積神經網絡的核心要素
1.3 卷積神經網絡的描述方法
1.4 人工智能三巨頭? + 華人圈名人
第2章 ResNet網絡概述
2.1 傳統(tǒng)網絡遇到的困境
2.2?ResNet網絡概述
2.3?ResNet網絡的層數(shù)
2.4?何明凱其人
2.5?什么是“殘差”？
2.6?“殘差”內在的思想
第3章 “殘差”塊的基本組成
第4章?ResNet的網絡結構
4.1 NesNET-34網絡結構-1（全部描述）
4.2 NesNET-34網絡結構-2（簡化描述）
4.3?不同層的殘差網絡
4.4?不同層的殘差網絡的性能比較
第1章 卷積神經網絡基礎
1.1 卷積神經發(fā)展與進化史
?AlexNet是深度學習的起點，后續(xù)各種深度學習的網絡或算法，都是源于AlexNet網絡。
[人工智能-深度學習-31]：卷積神經網絡CNN - 常見卷積神經網絡綜合比較大全_文火冰糖（王文兵）的博客-CSDN博客作者主頁(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文網址：第1章 人工智能發(fā)展的3次浪潮1.1人工智能的發(fā)展報告2011-2020資料來源：清華大學、中國人工智能學會《人工智能的發(fā)展報告2011-2020》，賽迪研究院、人工智能產業(yè)創(chuàng)新聯(lián)盟《人工智能實踐錄》，中金公司研究部? 第一次浪潮（1956-1974年）：AI思潮賦予機器邏輯推理能力。伴隨著“人工智能”這一新興概念的興起，人們對AI的未來充滿了想象，人工智能迎來第一次發(fā)展浪潮。這.https://blog.csdn.net/HiWangWenBing/article/details/120835303
1.2 卷積神經網絡的核心要素
[人工智能-深度學習-27]：卷積神經網絡CNN - 核心概念（卷積、滑動、填充、參數(shù)共享、通道）_文火冰糖（王文兵）的博客-CSDN博客作者主頁(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文網址：目錄第1章 卷積中的“積”的定義第2章 卷積中的“卷”的定義第3章 填充第4章 單個卷積核的輸出第5章 多個卷積核的輸出第6章 卷積對圖形變換第7章 池化層第8章 全連接的dropout第1章 卷積中的“積”的定義第2章 卷積中的“卷”的定義stride：反映的每次移動的像素點的個數(shù)。第3章 填充...https://blog.csdn.net/HiWangWenBing/article/details/120806277
1.3 卷積神經網絡的描述方法
[人工智能-深度學習-28]：卷積神經網絡CNN - 網絡架構與描述方法_文火冰糖（王文兵）的博客-CSDN博客作者主頁(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文網址：目錄第1章 什么是卷積神經網絡第2章 卷積神經網絡的描述方法第3章 卷積神經網絡的本質第4章 卷積神經網絡的總體框框第5章卷積神經網絡的發(fā)展與常見類型與分類第6章 常見的卷積神經網絡6.1 AlexNet6.2 VGGNet6.3 GoogleNet： inception結構6.4 google net6.5 ResNet第7章 常見圖形訓練庫第1.https://blog.csdn.net/HiWangWenBing/article/details/120806599
1.4 人工智能三巨頭? + 華人圈名人
Yoshua Bengio、Yann LeCun、Geoffrey Hinton共同獲得了2018年的圖靈獎。
杰弗里·埃弗里斯特·辛頓（Geoffrey Everest Hinton），計算機學家、心理學家，被稱為“神經網絡之父”、“深度學習鼻祖”。Hinton是機器學習領域的加拿大首席學者，是加拿大高等研究院贊助的“神經計算和自適應感知”項目的領導者，是蓋茨比計算神經科學中心的創(chuàng)始人，目前擔任多倫多大學計算機科學系教授。2013年3月，谷歌收購 Hinton 的公司 DNNResearch 后，他便隨即加入谷歌，直至目前一直在 Google Brain 中擔任要職。
Yoshua Bengio是蒙特利爾大學（Université de Montréal）的終身教授，任教超過22年，是蒙特利爾大學機器學習研究所（MILA）的負責人，是CIFAR項目的負責人之一，負責神經計算和自適應感知器等方面，又是加拿大統(tǒng)計學習算法學會的主席，是ApSTAT技術的發(fā)起人與研發(fā)大牛。Bengio在蒙特利爾大學任教之前，是AT&T貝爾實驗室 & MIT的機器學習博士后。
Yann LeCun，擔任Facebook首席人工智能科學家和紐約大學教授，1987年至1988年，Yann LeCun是多倫多大學Geoffrey Hinton實驗室的博士后研究員。
第2章 ResNet網絡概述
2.1 傳統(tǒng)網絡遇到的困境
[人工智能-深度學習-36]：卷積神經網絡CNN - 簡單地網絡層數(shù)堆疊導致的問題分析（梯度消失、梯度彌散、梯度爆炸）與解決之道_文火冰糖（王文兵）的博客-CSDN博客作者主頁(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文網址：目錄第1章 簡單堆疊神經元導致參數(shù)量劇增的問題1.1 網絡層數(shù)增加大帶來的好處1.2 一個奇怪的現(xiàn)象1.3網絡層數(shù)增加帶來的負面效果第2章 參數(shù)量劇增導致的訓練問題2.1 計算量的增加2.2 模型容易過擬合，泛化能力變差。2.3 梯度異常2.4 loss異常第3章 梯度消失：參數(shù)的變化率接近與3.1 什么是梯度消失和梯度彌散3.2梯度的由來：反向傳播..https://blog.csdn.net/HiWangWenBing/article/details/120919308
2.2?ResNet網絡概述
深度殘差網絡（Deep residual network, ResNet）的提出是CNN圖像史上的又一件里程碑事件。
它由微軟研究院的Kaiming He（何明凱）等四名華人提出，通過使用ResNet Unit成功訓練出了152層的神經網絡，在ILSVRC2015比賽中取得冠軍, 取得了5項第一，并又一次刷新了CNN模型在ImageNet上的歷史。
其在top5上的錯誤率僅為3.57%，在ImageNet比賽中，是首個準確率超過人眼的網絡。
那么ResNet為什么會有如此優(yōu)異的表現(xiàn)呢？
其實ResNet是解決了深度（20層以上）CNN模型難訓練的問題。
2.3?ResNet網絡的層數(shù)
而15年的ResNet多達152層，無論是VGG, 還是GgooLnet，這在網絡深度上，與ResNet完全不是一個量級上。這里就有一個關鍵問題：ResNet是如何做到在增加網絡深度的時候，同時能夠克服深度網絡的問題呢？
根本原因是，ResNet對網絡架構上的革新，這才使得網絡的深度優(yōu)勢發(fā)揮出作用，這個革新就是殘差學習（Residual learning）。
它使得，隨著網絡層數(shù)的增加，其性能也同時增加，如下圖所示：
2.4?何愷明其人
?何愷明，本科就讀于清華大學，博士畢業(yè)于香港中文大學多媒體實驗室。
2011年加入微軟亞洲研究院（MSRA）工作，主要研究計算機視覺和深度學習。
2016年，加入Facebook AI Research（FAIR）擔任研究科學家。
2020年1月11日，榮登AI全球最具影響力學者榜單。
?
2.5?什么是“殘差”？
殘差在數(shù)理統(tǒng)計中是指實際觀察值與估計值（擬合值）之間的差。
“殘差”蘊含了有關模型基本假設的重要信息。
如果回歸模型正確的話， 我們可以將殘差看作誤差的觀測值。
在ResNet網絡中，“殘差”表示的是ResNet網絡的基本組成“塊”，這個“塊”表示具有差的性質，即使Y?= X?+ F(X) => Y?- X?= F(X),? 其中F(X)就是“殘差”。
Y?= X?+ F(X) 這樣的結構就是“殘差”塊，由““殘差”塊疊加而成的網絡就是“殘差”。
2.6?“殘差”內在的思想
淺層網絡具備更多的特征信息，如果我們把淺層（低層管理層）的特征傳到高層（管理層），讓高層根據這些信息進行決策（分類和特征提取），那么高層最后的效果應該至少不比淺層的網絡效果差，最壞的情況是與低層更好的效果，更普遍的情況是，高層由于有更多、更抽象的特征信息，因此高層的決策效果會比低層更準確。
更抽象的講，我們需要一種技術，確保保證了L+1層的網絡一定比 L層包含更多的圖像信息。
這就是ResNet shortcut網絡結構的底層邏輯和內在思想！！！。
?“殘差”塊是殘差網絡的核心，有必要深入了解其基本組成與原理。
第3章 “殘差”塊的基本組成
詳解殘差網絡 - 知乎
shortcut連接相當于簡單執(zhí)行了同等映射，不會產生額外的參數(shù)，也不會增加計算復雜度。
第4章?ResNet的網絡結構
4.1?NesNET-34網絡結構-1（全部描述）
?4.2?NesNET-34網絡結構-2（簡化描述）
（1）輸入
- 任意尺寸
（2）64通道卷積
- 7* 7 * 64的卷積核
（3）64通道的“殘差塊
- 3個殘差塊
- 每個殘差塊組成：2個3*3*64的卷積核
（4）128通道的“殘差塊
- 3+1=4個殘差塊
- 每個殘差塊組成：2個3*3*128的卷積核
（5）256通道的“殘差塊
- 5+1 = 6個殘差塊
- 每個殘差塊組成：2個3*3*256的卷積核
（6）512通道的“殘差塊
- 2+1 = 3個殘差塊
- 每個殘差塊組成：2個3*3*512的卷積核
（7）池化
- 平均池化
（8）1000分類的全連接
- 單層全連接
- 1000個全連接神經元
- 1000個輸出
（9）總層數(shù)：34層
4.3?不同層的殘差網絡
- 隨著網絡層數(shù)的增加，精確度也在提升，網絡的參數(shù)的數(shù)量和計算量也都在提升。
- 通過簡單的堆疊“殘差”塊，提升網絡的深度。
4.4?不同層的殘差網絡的性能比較
（1）比較圖-1
備注：
Plain-18/34：表示非殘差網絡，34層的網絡錯誤率反而低于18層的網絡。
ResNet-18/34：表示殘差網絡，34層的網絡錯誤率要高于18層的網絡。
（2）比較圖-2
ResNet-110 >?ResNet-56 >?ResNet-20 > Plain-20 >?Plain-56
作者主頁(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客
本文網址：https://blog.csdn.net/HiWangWenBing/article/details/120915279
總結
以上是生活随笔為你收集整理的[人工智能-深度学习-38]：卷积神经网络CNN - 常见分类网络- ResNet网络架构分析与详解的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Invalid bound statem
- 下一篇： [人工智能-深度学习-32]：卷积神经网