二十万字！耗时90天
大家好，我是 K同學啊！
《深度學習100例》系列在昨天已經完成了第20博客！
這是一個漫長的過程，中途遇到了不少問題，但是也有幸遇見不少優秀的伙伴，這里簡單介紹一下這90天做的事情。
1. 深度學習100例-卷積神經網絡（CNN）實現MNIST手寫數字識別 | 第1天
這篇文章作為《深度學習100例》的首篇文章，我使用了最簡單也最經典的案例 – MNIST手寫數字識別。極簡化了神經網絡程序，當然，如何你是一個從來沒了接觸過深度學習的小白，那我建議你可以先看這個專欄：《小白入門深度學習》
使用的是MNIST數據集，MNIST 手寫字符數據集的數字圖片是由250個不同職業的人純手寫繪制，其中訓練集為60,000張28x28像素灰度圖像，測試集為10,000張28x28像素灰度圖像，總共10類數字標簽。
2. 深度學習100例-卷積神經網絡（CNN）彩色圖片分類 | 第2天
這篇文章中我使用的是CIFAR10數據集，它是一個更接近普適物體的彩色圖像數據集。是由Hinton 的學生Alex Krizhevsky 和Ilya Sutskever 整理的一個用于識別普適物體的小型數據集。一共包含10 個類別的RGB彩色圖片，每個類別有6000個圖像。每個圖片的尺寸為32×32 ，數據集中一共有50000張訓練圖片和10000 張測試圖片。
3. 深度學習100例-卷積神經網絡（CNN）服裝圖像分類 | 第3天
Fashion-MNIST是一個圖像數據集。 它是由Zalando（一家德國的時尚科技公司）旗下的研究部門提供。其涵蓋了來自10種類別的共7萬個不同商品的正面圖片。Fashion-MNIST的大小、格式和訓練集/測試集劃分與原始的MNIST完全一致。60000/10000的訓練測試數據劃分，28x28的灰度圖片。你可以直接用它來測試你的機器學習和深度學習算法性能，且不需要改動任何的代碼。
4. 深度學習100例-卷積神經網絡（CNN）花朵識別 | 第4天
從這篇文章開始使用的就是自己本地的數據集了，相應的增加了數據導入模塊。這次使用的是雛菊、蒲公英、玫瑰、向日葵、郁金香等五個類別的花卉數據集，一共3670張彩色圖片，圖片大小不一。
5. 深度學習100例-卷積神經網絡（CNN）天氣識別 | 第5天
我就是來帶大家看風景的~
6. 深度學習100例-卷積神經網絡（VGG-16）識別海賊王草帽一伙 | 第6天
VGG于2014年由牛津大學科學工程系Visual Geometry Group組提出的。主要工作是證明了增加網絡的深度能夠在一定程度上影響網絡最終的性能。VGG有兩種結構，分別是VGG16和VGG19，兩者除了網絡深度不一樣，其本質并沒有什么區別。
相對于2012年的AlexNet， VGG的一個高進是采用連續的3x3小卷積核來代替AlexNet中較大的卷積核（AlexNet采用了11x11，7x7與5x5大小的卷積核）。兩個3x3步長為1的卷積核的疊加，其感受野相當與一個5x5的卷積核。但是采用堆積的小卷積核是由于大卷積核的，因為層數的增加，增加了網絡的非線性，從而能讓網絡來學習更復雜的模型，并且小卷積核的參數更少。
7. 深度學習100例-卷積神經網絡（VGG-19）識別靈籠中的人物 | 第7天
VGG于2014年由牛津大學科學工程系Visual Geometry Group組提出的。主要工作是證明了增加網絡的深度能夠在一定程度上影響網絡最終的性能。VGG有兩種結構，分別是VGG16和VGG19，兩者除了網絡深度不一樣，其本質并沒有什么區別。
相對于2012年的AlexNet， VGG的一個高進是采用連續的3x3小卷積核來代替AlexNet中較大的卷積核（AlexNet采用了11x11，7x7與5x5大小的卷積核）。兩個3x3步長為1的卷積核的疊加，其感受野相當與一個5x5的卷積核。但是采用堆積的小卷積核是由于大卷積核的，因為層數的增加，增加了網絡的非線性，從而能讓網絡來學習更復雜的模型，并且小卷積核的參數更少。
8. 深度學習100例-卷積神經網絡（ResNet-50）鳥類識別 | 第8天
ResNet是微軟研究院2015年提出的一種網絡結構，，獲得了ILSVRC-2015分類任務的第一名，同時在ImageNet detection，ImageNet localization，COCO detection和COCO segmentation等任務中均獲得了第一名。
殘差網絡是為了解決神經網絡隱藏層過多時，而引起的網絡退化問題。退化（degradation）問題是指：當網絡隱藏層變多時，網絡的準確度達到飽和然后急劇退化，而且這個退化不是由于過擬合引起的。
9. 深度學習100例-循環神經網絡（RNN）實現股票預測 | 第9天
傳統神經網絡的結構比較簡單：輸入層 – 隱藏層 – 輸出層。RNN 跟傳統神經網絡最大的區別在于每次都會將前一次的輸出結果，帶到下一次的隱藏層中，一起訓練。
11. 深度學習100例-循環神經網絡（LSTM）實現股票預測 | 第10天
一句話介紹LSTM，它是RNN的進階版，如果說RNN的最大限度是理解一句話，那么LSTM的最大限度則是理解一段話。
LSTM，全稱為長短期記憶網絡(Long Short Term Memory networks)，是一種特殊的RNN，能夠學習到長期依賴關系。LSTM由Hochreiter & Schmidhuber (1997)提出，許多研究者進行了一系列的工作對其改進并使之發揚光大。LSTM在許多問題上效果非常好，現在被廣泛使用。
LSTM避免了長期依賴的問題。可以記住長期信息！LSTM內部有較為復雜的結構。能通過門控狀態來選擇調整傳輸的信息，記住需要長時間記憶的信息，忘記不重要的信息，其結構如下：
12. 深度學習100例-卷積神經網絡（AlexNet）手把手教學 | 第11天
AleXNet使用了ReLU方法加快訓練速度，并且使用Dropout來防止過擬合。
AleXNet是首次把卷積神經網絡引入計算機視覺領域并取得突破性成績的模型。獲得了ILSVRC 2012年的冠軍，再top-5項目中錯誤率僅僅15.3%，相對于使用傳統方法的亞軍26.2%的成績優良重大突破。和之前的LeNet相比，AlexNet通過堆疊卷積層使得模型更深更寬。其結構圖如下：
12. 深度學習100例-卷積神經網絡（CNN）識別驗證碼 | 第12天
以后寫爬蟲再也不用擔心驗證碼攔截了！
13. 深度學習100例-卷積神經網絡（Inception V3）識別手語 | 第13天
Inception 網絡是 CNN 分類器發展史上一個重要的里程碑。在 Inception 出現之前，大部分流行 CNN 僅僅是把卷積層堆疊得越來越多，使網絡越來越深，以此希望能夠得到更好的性能。
例如第一個得到廣泛關注的 AlexNet，它本質上就是擴展 LeNet 的深度，并應用一些 ReLU、Dropout 等技巧。AlexNet 有 5 個卷積層和 3 個最大池化層，它可分為上下兩個完全相同的分支，這兩個分支在第三個卷積層和全連接層上可以相互交換信息。與 Inception 同年提出的優秀網絡還有 VGG-Net，它相比于 AlexNet 有更小的卷積核和更深的層級。
VGG-Net 的泛化性能非常好，常用于圖像特征的抽取目標檢測候選框生成等。VGG 最大的問題就在于參數數量，VGG-19 基本上是參數量最多的卷積網絡架構。這一問題也是第一次提出 Inception 結構的 GoogLeNet 所重點關注的，它沒有如同 VGG-Net 那樣大量使用全連接網絡，因此參數量非常小。
14. 深度學習100例-卷積神經網絡（Inception-ResNet-v2）識別交通標志 | 第14天
受到 ResNet 的優越性能啟發，研究者提出了一種混合 inception 模塊。Inception ResNet 有兩個子版本：v1 和 v2。這兩個子版本之間的存在微小差異：
- Inception-ResNet v1 的計算成本和 Inception v3 的接近。
- Inception-ResNetv2 的計算成本和 Inception v4 的接近。
本文主要對Inception-ResNetv2進行復現
15. 深度學習100例-卷積神經網絡（CNN）實現車牌識別 | 第15天
應讀者的要求寫了一個識別車牌的CNN。
16. 深度學習100例-卷積神經網絡（CNN）識別神奇寶貝小智一伙 | 第16天
都是童年的味道~
17. 深度學習100例-卷積神經網絡（CNN）注意力檢測 | 第17天
一個比較特別的案例~
18. 深度學習100例-生成對抗網絡（GAN）手寫數字生成 | 第18天
生成對抗網絡（GAN）是當今計算機科學領域最有趣的想法之一。兩個模型通過對抗過程同時訓練。一個生成器模型（“藝術家”）學習創造看起來真實的圖像，而判別器模型（“藝術評論家”）學習區分真假圖像。GAN 的應用十分廣泛，它的應用包括圖像合成、風格遷移、照片修復以及照片編輯，數據增強等等。
19. 深度學習100例-生成對抗網絡（DCGAN）手寫數字生成 | 第19天
DCGAN是原始GAN之后的又一種模型。它將GAN與CNN相結合，奠定后幾乎所有GAN的基本網絡架構。DCGAN極大地提升了原始GAN訓練的穩定性以及生成結果質量。
20. 深度學習100例-生成對抗網絡（DCGAN）生成動漫小姐姐 | 第20天
畫面極度舒適建議，強烈建議前往觀看！
🚀 深度學習新人必看：《小白入門深度學習》
總結
以上是生活随笔為你收集整理的二十万字！耗时90天的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 深度学习100例-卷积神经网络（LeNe
- 下一篇： 「多图」图解10大CNN架构