卷積神經(jīng)網(wǎng)絡(luò)

之前的一些都是考慮多層感知器算法設(shè)計(jì)相關(guān)的問題，這次是說一個(gè)多層感知器結(jié)構(gòu)布局相關(guān)的問題。來總結(jié)卷積神經(jīng)網(wǎng)絡(luò)。對于模式分類非常合適。網(wǎng)絡(luò)的提出所隱含的思想收到了神經(jīng)生物學(xué)的啟發(fā)。

第一個(gè)卷積網(wǎng)絡(luò)是為了識別二維形狀而特殊設(shè)計(jì)的一個(gè)多層感知器，這種二維形狀對平移、比例縮放、傾斜或者其他形式的變形具有高度不變性。這個(gè)艱巨的任務(wù)是通過如下網(wǎng)絡(luò)在監(jiān)督方式下學(xué)會的，網(wǎng)絡(luò)的結(jié)構(gòu)包括如下形式的約束。

特征提取。每一個(gè)神經(jīng)元從上一層的局部接收域得到突觸輸入，因而迫使它提取局部特征。一旦一個(gè)特征被提取出來，只要它相對于其他特征的位置被近似保留下來，他的精確位置就變得沒有那么重要了。

特征映射。網(wǎng)絡(luò)的每一個(gè)計(jì)算層都是由多個(gè)特征映射組成的，每個(gè)特征映射都是平面形式的，平面中單獨(dú)的神經(jīng)元在約束下共享相同的突觸權(quán)值。這種結(jié)構(gòu)約束的第二種形式具有如下的有益效果：

平移不變性，強(qiáng)迫特征映射的執(zhí)行使用具有小尺度核的卷積，再接著用一個(gè)sigmoid函數(shù)。

自由參數(shù)數(shù)量的減縮，通過權(quán)值共享實(shí)現(xiàn)。

子抽樣。每個(gè)卷積網(wǎng)層跟著一個(gè)實(shí)現(xiàn)局部平均和子抽樣的計(jì)算層，由此特征映射的分辨率降低。這種操作具有使特征映射的輸出對平移和其他形式的變形的敏感度下降作用。

注意，在一個(gè)卷積網(wǎng)絡(luò)所有層中的所有權(quán)值都是通過訓(xùn)練來學(xué)習(xí)的。此外，網(wǎng)絡(luò)自動地學(xué)習(xí)提取它自身的特征。

?

用于圖像處理如手寫識別的卷積網(wǎng)絡(luò):

?

上面是一個(gè)由一個(gè)輸入層和四個(gè)隱藏層與一個(gè)輸出層組成的卷積網(wǎng)絡(luò)的體系結(jié)構(gòu)布局。這個(gè)網(wǎng)絡(luò)被設(shè)計(jì)用于實(shí)現(xiàn)圖像處理（如手寫識別）。輸入層由28x28個(gè)感知節(jié)點(diǎn)組成，接收已經(jīng)近似處于中心位置和在大小上規(guī)整化的不同字符的圖像。然后，計(jì)算流程在卷積和子抽樣之間交替：

第一隱藏層進(jìn)行卷積。它由四個(gè)特征映射組成，每個(gè)特征映射由24x24個(gè)神經(jīng)元組成。每個(gè)神經(jīng)元指定一個(gè)5x5的接收域；

第二隱藏層實(shí)現(xiàn)了子抽樣和局部平均。他同樣由四個(gè)特征映射組成。但其每個(gè)特征映射由12x12個(gè)神經(jīng)元組成。每個(gè)神經(jīng)元具有一個(gè)2x2的接收域，一個(gè)可訓(xùn)練系數(shù)，一個(gè)可訓(xùn)練偏置和一個(gè)sigmoid激活函數(shù)。可訓(xùn)練系數(shù)和偏置控制神經(jīng)元的操作點(diǎn)；例如，如果系數(shù)很小，該神經(jīng)元以擬線性方式操作。

第三個(gè)隱藏層進(jìn)行第二次卷積。它由12個(gè)特征映射組成，每個(gè)特征映射由8x8個(gè)神經(jīng)元組成。該隱藏層中的每個(gè)神經(jīng)元可能具有和上一個(gè)隱藏層幾個(gè)特征映射相連的突觸連接。否則，它以第一個(gè)卷積層相似的方式操作。

第四個(gè)隱藏層進(jìn)行第二次子抽樣和局部平均計(jì)算。它由12個(gè)特征映射組成，但每個(gè)特征映射由4x4個(gè)神經(jīng)元組成。否則它以第一次抽樣相似的方式操作。

輸出層實(shí)現(xiàn)卷積的最后階段。它由26個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元指定為26個(gè)可能的字符中的一個(gè)。跟前面一樣，每個(gè)神經(jīng)元指定一個(gè)4x4的接收域。

相繼的計(jì)算層在卷積和抽樣之間的連續(xù)交替，得到一個(gè)“雙尖塔”的效果。也就是在每個(gè)卷積或抽樣層，隨著空間分辨率下降，與相應(yīng)的前一層相比特征映射的數(shù)量增加。卷積之后進(jìn)行子抽樣的思想是受到H和W首先提出的“簡單的”細(xì)胞后面跟著“復(fù)雜的”細(xì)胞的概念啟發(fā)而產(chǎn)生的。

上面的多層感知器包含近似100000個(gè)突觸連接，但只有大約2600個(gè)自由參數(shù)。自由參數(shù)在數(shù)量上顯著減少是通過權(quán)值共享實(shí)現(xiàn)的。機(jī)器學(xué)習(xí)的能力因而下降，這有提高了它的泛化能力。甚至更值得注意的事實(shí)是對自由參數(shù)的調(diào)整通過反向傳播學(xué)習(xí)的隨機(jī)形式實(shí)現(xiàn)。

另一個(gè)顯著的特點(diǎn)是使用權(quán)值共享使得以并行形式實(shí)現(xiàn)卷積網(wǎng)絡(luò)成為可能。這是卷積網(wǎng)絡(luò)對完全連接的多層感知器而言的另一個(gè)優(yōu)點(diǎn)。

卷積也說明了兩點(diǎn)。首先，通過結(jié)合當(dāng)前任務(wù)的先驗(yàn)知識約束其設(shè)計(jì)，一個(gè)可調(diào)整大小的多層感知器能夠?qū)W習(xí)一個(gè)復(fù)雜的、高維的和非線性的映射。其次，突觸權(quán)值和偏置水平可以周而復(fù)始地執(zhí)行通過訓(xùn)練集的簡單反向傳播算法進(jìn)行學(xué)習(xí)。

?

總結(jié)

以上是生活随笔為你收集整理的神经网络与机器学习 笔记—卷积神经网络（CNN）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。