resnet模型的图像分类结构图_ResNet - 2015年 ILSVRC 的赢家（图像分类，定位及检测）...
Review: ResNet?—?Winner of ILSVRC 2015 (Image Classification, Localization, Detection)
作者 | SH Tsang
翻譯 | 斯蒂芬二狗子
校對 | 醬番梨 審核 | 約翰遜·李加薪 整理 | 立魚王
原文鏈接：https://towardsdatascience.com/review-resnet-winner-of-ilsvrc-2015-image-classification-localization-detection-e39402bfa5d8
在本文，我們ResNet進行了回顧。通過學習殘差表征函數而不是直接學習目標表征，ResNet可以擁有多達152層的非常深的網絡。
ResNet引入了跳過連接（或快捷方式連接）以適應從前一層到下一層的輸入，而無需修改輸入。跳過連接可以實現更深入的網絡，最終ResNet成為ILSVRC 2015在圖像分類，檢測和定位方面的贏家，和MS COCO 2015檢測和分割的獲勝者。
ILSVRC 2015圖像分類排名ImageNet是一個包含超過1500萬個標記的高分辨率圖像的數據集，包含大約22,000個類別。 ILSVRC在1000個類別中的每一個中使用大約1000個圖像的ImageNet子集。總共有大約120萬個訓練圖像，50,000個驗證圖像和100,000個測試圖像。
本文涉及
1、普通網絡的存在的問題
對于傳統的深度學習網絡，它們通常具有卷積層，完全連接（FC）層，用于分類任務，如AlexNet，ZFNet和VGGNet，沒有任何跳躍/短連接，我們稱之為普通網絡。當普通網絡更深（層數增加）時，會出現梯度消失/梯度爆炸的問題。
Vanishing / Exploding Gradients 梯度消失/爆炸
在反向傳播期間，當誤差函數相對于每次訓練迭代中的當前權重的求偏導數時，通過n層網絡會導致將這些小/大梯度數值被乘上n倍的梯度效果。
當網絡很深時，這些小數字乘n變成零（消失）。
當網絡很深時，這些大數的乘n變得特別大（爆炸）。
我們一般會期望更深的網絡有更準確的預測。但是，下面一個反例說明，20層普通網絡比56層普通網絡具有更低的訓練誤差和測試誤差，這是梯度消失而出現性能退化問題。
2、殘差網絡中的跳躍/短連接（ResNet）
為了解決消失/爆炸梯度的問題，添加了 跳躍/短連接 skip / shortcut 在幾個權重層之后將輸入x加到輸出上，如下所示：
殘余網絡的構建模塊因此，輸出H(x)= F(x) + x。
權重層實際上是學習一種殘差映射：F(x)=H(x)-x
（ 反向傳播時）即使權重層有梯度消失現象，我們仍然總是將x轉移回較早的層。
3、ResNet架構
具有跳躍/短連接的34層ResNet（頂部），34層普通網絡（中部），19層VGG-19（底部）
上圖顯示了ResNet架構。
對于ResNet構建模塊，當輸入尺寸小于輸出尺寸時，有3種類型的 跳躍/短連接。
（A）短連接Shortcut執行映射恒等映射(identity mapping)，使用額外的零填充zero padding來增加維度。因此沒有額外增加參數。
（B）一個投影短連接projection shortcut僅用于增加尺寸，其他短連接shortcut還是恒等的連接。網絡需要額外的參數。
（C）所有短連接都是投影連接。額外需要的參數多于（B）。
4、瓶頸Bottleneck的設計
由于現在網絡很深，時間復雜度很高。瓶頸Bottleneck設計用于降低復雜性，如下所示：
基本塊（左）和論文所提出的瓶頸塊設計（右）如圖（右）所示，1×1轉換層被添加到網絡的開始和結束。這是Network In Network和GoogLeNet（Inception-v1）中建議的技術。事實證明，1×1轉換可以減少連接數（參數），同時不會降低網絡性能。 （如果感興趣，請訪問我的評論。）
用瓶頸模塊，34層ResNet成為50層ResNet。而且文章還給出更深層的網絡與瓶頸設計：ResNet-101和ResNet-152。所有網絡的整體架構如下：
所有網絡的整體架構值得注意的是，VGG-16/19有15.3 / 196億FLOPS。 ResNet-152的復雜程度仍低于VGG-16/19 !!!!
5、消融實驗
5.1 傳統網絡 VS 殘差網絡
驗證錯誤率：18層和34層普通網絡（左），18層和34層ResNet（右）使用10種作物測試的Top-1錯誤率當使用普通網絡時，由于梯度消失問題，18層優于34層。
當使用ResNet時，34層優于18層，消失梯度問題已通過跳過連接解決。
如果我們比較18層普通網絡和18層ResNet，沒有太大區別。這是因為淺層網絡不會出現消失梯度問題。
6、與最先進方法的比較（圖像分類）
6.1 ILSVRC 數據
10種作物測試結果通過比較ResNet-34 A，B和C，得出B略好于A，C略好于B，這是因為B引入了額外的參數。ResNet-A,B,C都獲得了大約7％的錯誤率。
通過將網絡深度增加到152層，獲得5.71％的Top5錯誤率，這比VGG-16，GoogLeNet（Inception-v1）和PReLU-Net好得多。
多尺度信息全卷積網絡在10種作物數據的測試結果此時，ResNet-152可以獲得4.49％的錯誤率。
10種作物測試+全卷積網絡，具有多尺度信息+6模型集成的結果增加了6種模型的集成后，錯誤率為3.57％。
6.2 CIFAR-10 數據集
CIFAR-10結果通過跳過連接，我們可以建立更深的模型。然而，當層數從110到1202時，發現錯誤率從6.43％增加到7.93％，這扔為本文中的一個未決問題。然而，ResNet-1202沒有優化難度，即它仍然可以收斂。
7、與最先進方法（物體檢測）的比較
PASCAL VOC 2007/2012 數據 mAP (%)MS COCO mAP (%)通過將ResNet-101用于faster R-CNN [3-4]，ResNet獲得了比VGG-16更好的性能。
ResNet最終贏得了ImageNet檢測，定位，COCO檢測和COCO分割的第一名！
相關文獻
[2016 CVPR] [ResNet]
Deep Residual Learning for Image Recognition
[2015 ICLR] [VGGNet]
Very Deep Convolutional Networks for Large-Scale Image Recognition
[2015 NIPS] [Faster R-CNN]
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
[2017 TPAMI] [Faster R-CNN]
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
我的評論文
Review: Faster R-CNN (Object Detection)
Review: Batch Normalization (Inception-v2 / BN-Inception) -The 2nd to Surpass Human-Level Performance in ILSVRC 2015 (Image Classification)
Review: PReLU-Net, The First to Surpass Human-Level Performance in ILSVRC 2015 (Image Classification)
Review: GoogLeNet (Inception v1)?—?Winner of ILSVRC 2014 (Image Classification)
Review: VGGNet?—?1st Runner-Up (Image Classification), Winner (Localization) in ILSVRC 2014
想要繼續查看該篇文章相關鏈接和參考文獻？
點擊【ResNet - 2015年 ILSVRC 的贏家（圖像分類，定位及檢測）】或長按下方地址：
https://ai.yanxishe.com/page/TextTranslation/1525?ai.yanxishe.comAI研習社今日推薦：
卡耐基梅隆大學 2019 春季《神經網絡自然語言處理》是CMU語言技術學院和計算機學院聯合開課，主要內容是教學生如何用神經網絡做自然語言處理。神經網絡對于語言建模任務而言，可以稱得上是提供了一種強大的新工具，與此同時，神經網絡能夠改進諸多任務中的最新技術，將過去不容易解決的問題變得輕松簡單。
加入小組免費觀看視頻：https://ai.yanxishe.com/page/groupDetail/33
總結
以上是生活随笔為你收集整理的resnet模型的图像分类结构图_ResNet - 2015年 ILSVRC 的赢家（图像分类，定位及检测）...的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： qt5 tcp服务器编程 多固定客户_如
- 下一篇： python sqlserver 列名_