AlexNet經(jīng)典網(wǎng)絡(luò)由Alex Krizhevsky、Hinton等人在2012年提出，發(fā)表在NIPS，論文名為《ImageNet Classification with Deep Convolutional Neural Networks》，論文見：http://www.cs.toronto.edu/~hinton/absps/imagenet.pdf ，論文中的網(wǎng)絡(luò)結(jié)構(gòu)截圖如下：

上圖中有時看起來不是很直觀，下圖是來自https://www.learnopencv.com/understanding-alexnet/ 中的截圖：

注意：論文中原始輸入大小為224*224*3，上圖中輸入大小為227*227*3，使用227*227替換為224*224更有意義。

AlexNet網(wǎng)絡(luò)：

(1).激活函數(shù)使用ReLU替代Tanh或Sigmoid加快訓(xùn)練速度，解決網(wǎng)絡(luò)較深時梯度彌散問題。關(guān)于ReLU介紹參考：https://blog.csdn.net/fengbingchun/article/details/73872828

(2).訓(xùn)練時使用Dropout隨機(jī)忽略一部分神經(jīng)元，以避免過擬合。關(guān)于Dropout介紹參考：https://blog.csdn.net/fengbingchun/article/details/89286485

(3).使用重疊最大池化(Overlapping Max Pooling)，避免平均池化時的模糊化效果；并且讓步長比池化核的尺寸小，提升特征豐富性。filter的步長stride小于filter的width或height。一般，kernel(filter)的寬和高是相同的，深度(depth)是和通道數(shù)相同的。

(4).使用LRN對局部神經(jīng)元的活動創(chuàng)建競爭機(jī)制，使得其中響應(yīng)比較大的值變得相對更大，并抑制其它反饋較小的神經(jīng)元，增強(qiáng)了模型泛化能力。LRN只對數(shù)據(jù)相鄰區(qū)域做歸一化處理，不改變數(shù)據(jù)的大小和維度。關(guān)于LRN介紹參考：https://blog.csdn.net/fengbingchun/article/details/112393884

(5).數(shù)據(jù)擴(kuò)充(Data Augmentation)：訓(xùn)練時隨機(jī)地從256*256的原始數(shù)據(jù)中截取227*227大小的區(qū)域，水平翻轉(zhuǎn)；光照變換。增加了數(shù)據(jù)量，大大減少過擬合，提升泛化能力。

(6).多GPU并行運(yùn)算。

AlexNet輸入是一種屬于1000種不同類別的一張BGR圖像，大小為227*227，輸出是一個向量，大小為1000。輸出向量的第i個元素值被解釋為輸入圖像屬于第i類的概率。因此，輸出向量的所有元素的總和為1。

假如輸入圖像大小為n*n，過濾器(filter)為f*f，padding為p，步長(stride)為s，則輸出大小為：如果商不是整數(shù)，向下取整，即floor函數(shù)。參考：https://blog.csdn.net/fengbingchun/article/details/80262495

AlexNet架構(gòu)：5個卷積層(Convolution、ReLU、LRN、Pooling)+3個全連接層(InnerProduct、ReLU、Dropout)，predict時對各層進(jìn)行說明：參照https://github.com/BVLC/caffe/blob/master/models/bvlc_alexnet/deploy.prototxt

(1).輸入層(Input)：圖像大小227*227*3。如果輸入的是灰度圖，它需要將灰度圖轉(zhuǎn)換為BGR圖。訓(xùn)練圖大小需要為256*256，否則需要進(jìn)行縮放，然后從256*256中隨機(jī)剪切生成227*227大小的圖像作為輸入層的輸入。

(2).卷積層1+ReLU+LRN：使用96個11*11的filter，stride為4，padding為0，輸出為55*55*96，96個feature maps，訓(xùn)練參數(shù)(11*11*3*96)+96=34944。

(3).最大池化層：filter為3*3，stride為2，padding為0，輸出為27*27*96，96個feature maps。

(4).卷積層2+ReLU+LRN：使用256個5*5的filter，stride為1，padding為2，輸出為27*27*256，256個feature maps，訓(xùn)練參數(shù)(5*5*96*256)+256=614656。

(5).最大池化層：filter為3*3，stride為2，padding為0，輸出為13*13*256，256個feature maps。

(6).卷積層3+ReLU：使用384個3*3的filter，stride為1，padding為1，輸出為13*13*384，384個feature maps，訓(xùn)練參數(shù)(3*3*256*384)+384=885120。

(7).卷積層4+ReLU：使用384個3*3的filter，stride為1，padding為1，輸出為13*13*384，384個feature maps，訓(xùn)練參數(shù)(3*3*384*384)+384=1327488。

(8).卷積層5+ReLU：使用256個3*3的filter，stride為1，padding為1，輸出為13*13*256，256個feature maps，訓(xùn)練參數(shù)(3*3*384*256)+256=884992。

(9).最大池化層：filter為3*3，stride為2，padding為0，輸出為6*6*256，256個feature maps。

(10).全連接層1+ReLU+Dropout：有4096個神經(jīng)元，訓(xùn)練參數(shù)(6*6*256)*4096=37748736。

(11).全連接層2+ReLU+Dropout：有4096個神經(jīng)元，訓(xùn)練參數(shù)4096*4096=16777216。

(12).全連接層3：有1000個神經(jīng)元，訓(xùn)練參數(shù)4096*1000=4096000。

(13).輸出層(Softmax)：輸出識別結(jié)果，看它究竟是1000個可能類別中的哪一個。

train(https://github.com/BVLC/caffe/blob/master/models/bvlc_alexnet/train_val.prototxt)可視化結(jié)果(http://ethereon.github.io/netscope/quickstart.html )如下：

predict可視化結(jié)果如下：

GitHub：https://github.com/fengbingchun/NN_Test

總結(jié)

以上是生活随笔為你收集整理的经典网络AlexNet介绍的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。