這里寫鏈接內(nèi)容ImageNet Classification with Deep Convolutional Neural Networks
在看caffe教程中example/ImageNet 時，看這篇文章，了解該網(wǎng)絡(luò)結(jié)構(gòu)，各個layer在網(wǎng)絡(luò)中的設(shè)置和作用。

一、ImageNet介紹

ImageNet由15 million 有標(biāo)簽的高分辨率圖像組成，有大約22，000個類別。
開始于2010年的ILSVRC(ImageNet Large-Scale Visual Recognition Challenge)，使用ImageNet的子集，每個類大約1000張圖像，共1000個類別。
本文中大約使用1.2million個訓(xùn)練圖片，50,000個驗證圖片和150,000個測試圖像。ILSVRC-2010是唯一一個提供測試集標(biāo)簽的ILSVRC。

二、網(wǎng)絡(luò)結(jié)構(gòu)

一共有8層，5個卷積層和3個全連接層，最后一層是一個1000way 的softmax。由于網(wǎng)絡(luò)較大，用兩個GPU進行訓(xùn)練。
從圖中可看到：2,4,5層只和貯存在當(dāng)前GPU中的先前層進行鏈接，而第3層和第2層所有的kernel map鏈接。
Response-normalization layers follow: 第1,2卷積層。
Max pooling layers: follow前兩個response-normlization layer 和第5個卷積層。
ReLU:被應(yīng)用在每一層后面

三、關(guān)鍵的部分

1、ReLU

rectified linear unit(ReLU) 非線性修正
f(x)=max(0,x)
使用這個函數(shù)替代傳統(tǒng)的tanh或者sigmoid，能夠加快收斂速度。

2、LRN

Local response normalization
ReLU計算后不是0的（被激活）neuron，可以開始計算LRN.
論文中給的公式：

這就是caffe教程中的Across-Chanels（default)的方式。另外還有，within-chanel方式（一個channel中以該點為中心的n*n的區(qū)域，進行上述類似的規(guī)范化計算）。
達到類似Lateral inhibition（側(cè)抑制）的作用。
側(cè)抑制：指的是某神經(jīng)元的活動引起另一個神經(jīng)元的興奮性下降。側(cè)抑制具有生物意義，因此它增加了物體邊沿的對比度，從而使機體容易區(qū)分一個物體和另一個物體的邊沿。
能夠降低識別錯誤率

3、Overlapping pooling

傳統(tǒng)的pooling是不重疊的，這里是在彼此有重疊的塊中進行pooling。
作用：能有效降低識別錯誤率，而且不易產(chǎn)生擬合。

四、減少擬合的方法

1、數(shù)據(jù)增廣

(1)平移和水平翻轉(zhuǎn)
從256*256的image中隨機抽取224*224的塊，并對他們進行水平翻轉(zhuǎn)。
水平翻轉(zhuǎn)：fg=im(:,end:-1:1,:)
(2)改變rgb通道的灰度值
在整個ImageNet 訓(xùn)練集上對灰度值進行PCA
Ix,y代表三通道的像素向量，對Ix,y進行如下量化：

2、 dropout

設(shè)置每個隱藏單元設(shè)為0的概率為0.5，被dropout的點不參與向前向后計算，因此相當(dāng)于是訓(xùn)練了多個模型。減少了神經(jīng)元間的依賴。

總結(jié)

以上是生活随笔為你收集整理的1：ImageNet Classification with Deep Convolutional Neural Networks的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。