#论文 《ImageNet Classification with Deep Convolutional Neural Networks》
這個(gè)Alex是第一作者，NN名字叫AlexNet，Hinton是第三作者。是第一個(gè)提出CNN的，還有dropout等方法。
?
1 Intro
?
CNN與之前的標(biāo)準(zhǔn)前饋神經(jīng)網(wǎng)絡(luò)對(duì)比：連接和參數(shù)更少，因此更容易訓(xùn)練；而且它的理論最佳只是比之前的稍差。
?
GPU讓訓(xùn)練CNN成為可能。而且，ImageNet也足夠大，這樣不怕過擬合。
?
本文貢獻(xiàn)：
訓(xùn)練了最佳的CNN；
有trick來提升性能，降低訓(xùn)練時(shí)間，見Section 3；
防止過擬合的技術(shù)，見Section 4；
減少任意一個(gè)卷積層都會(huì)降低效果。
?
本文訓(xùn)練的時(shí)候，限制主要是GPU的內(nèi)存和訓(xùn)練時(shí)間，如果可以增加計(jì)算資源的話，應(yīng)該可以提升效果。
?
?
2 數(shù)據(jù)
就是ImageNet，數(shù)據(jù)量足夠大，不太怕過擬合。
?
3 架構(gòu)
NN的架構(gòu)見Fig 2。
總共8層。前5層是卷積層，后3層是全連接層。
Section 3.1~3.4逐個(gè)介紹，按照重要性排序。
?
3.1 ReLU非線性
ReLU比tanh和sigmod好。比tanh快好幾倍。
沒有ReLU，可能實(shí)驗(yàn)沒法完成。
?
3.2 并行GPU
一個(gè)GPU內(nèi)存是3G，不夠訓(xùn)練1.2million的數(shù)據(jù)，所以用了2塊GPU并行。
trick：
相鄰層在一個(gè)GPU內(nèi)，加快速度。
用了某個(gè)相似的框架，降低了error 1.5~1.7個(gè)百分點(diǎn)。
2個(gè)GPU比一個(gè)GPU快了一點(diǎn)點(diǎn)。
?
3.3 Local Response Normalization
這個(gè)正則化框架提升了泛化能力。
降低了誤差1.2~1.4個(gè)百分點(diǎn)。
?
3.4 overlapping Pooling 池化
Pooling層是對(duì)前面層中，相鄰group的輸出做一個(gè)抽象的總結(jié)?！救?#xff0c;找max的，或者avg的等等?！?/p>
降低誤差0.3~0.4個(gè)百分點(diǎn)。
還稍微有防止過擬合的貢獻(xiàn)。
?
3.5 架構(gòu)
5層卷積+3層全連接。
輸出是1000個(gè)分類的softmax。
?
其中，提到了，最大化multinomial logistic regression等價(jià)于最大化the average across training cases of the log-probability of the correct label under the prediction distribution.
?
介紹了一下連接結(jié)構(gòu)，用來提升計(jì)算速度等。
?
4 降低過擬合
參數(shù)太多，有60 million。
提出了兩種防止過擬合的技術(shù)。
?
4.1 增加數(shù)據(jù)
通過做轉(zhuǎn)換，來增加數(shù)據(jù)。
有兩種方法來實(shí)現(xiàn)。一是random抽取固定大小的patch，二是轉(zhuǎn)換成RGB 。這倆方法計(jì)算量小，可以放到CPU中，與GPU并行執(zhí)行，相當(dāng)于沒有多耗費(fèi)時(shí)間。
?
4.2 dropout
這個(gè)dropout被視為一種有效的model combination方法。
dropout概率為0.5，用在了三個(gè)全連接層中的前兩個(gè)中（而不是所有的都用！），可以強(qiáng)烈的防止過擬合，但是double了訓(xùn)練的iteration。
?
5 學(xué)習(xí)細(xì)節(jié)
初始化：
每層參數(shù)初始化：N(0,0.01)；
bias：有的層是1，有的層是0.【不知道為什么要區(qū)分開】
?
訓(xùn)練：
SGD；
batch size：128；
momentum：0.9；
decay：0.0005；
learning rate: 初始0.01。當(dāng)validation error rate不動(dòng)的時(shí)候，將learning rate除以10。訓(xùn)練中，除了3次。
訓(xùn)練用了5~6天，用了2個(gè)3GB的GPU。
?
6 結(jié)果
當(dāng)然是好了，提升很高，比第二名超出很多。
?
7 討論
如果減少一個(gè)層，就會(huì)降低效果2%左右。所以，深度很重要。
為了降低復(fù)雜度，沒有做預(yù)處理。但如果能有更大的計(jì)算資源，用更深更大的網(wǎng)絡(luò)和更長(zhǎng)的訓(xùn)練時(shí)間，可能效果會(huì)更好。
最終想要用在視頻序列上。
總結(jié)
以上是生活随笔為你收集整理的#论文 《ImageNet Classification with Deep Convolutional Neural Networks》的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： #论文 《Wide Deep Lear
- 下一篇： #论文 《Deep Residual L