往期視頻（前往公眾號(hào)有三AI觀看）

為什么現(xiàn)在大家喜歡用3*3小卷積？

我們知道現(xiàn)在在構(gòu)建CNN時(shí)大家喜歡用3*3的卷積，而不是早期的5*5，7*7等更大尺寸的卷積，如vgg系列網(wǎng)絡(luò)中全部使用了3*3的卷積。那么你知道為什么這樣做嗎？

作者/編輯?湯興旺

?

這里既然用3*3卷積來(lái)替代更大尺寸的卷積，那么有一個(gè)前提，就是要保證兩者具有同樣大小的輸出和感受野。

兩個(gè)3*3的卷積才能代替一個(gè)5*5的卷積；三個(gè)3*3的卷積才能代替一個(gè)7*7的卷積。

以stride=1，padding=0我們來(lái)看看為何。

我們首先看一下采用5*5卷積的方案。

假設(shè)圖像大小為n*n，采用5*5的卷積核其輸出為(n-5)/1+1=n-4。

我們?cè)倏匆幌虏捎?*3卷積的方案。

同樣圖像大小為n*n，第一次卷積后輸出為（n-3)/1+1=n-2，第二次卷積后輸出為（n-2-3）/1+1=n-4。

從上面的圖可以看出，采用一個(gè)5*5卷積核和兩個(gè)3*3卷積核，它們卷積后的輸出是相同大小，輸出的每一個(gè)像素的感受野也相等。

在這樣的前提下，有什么好處呢？

1、網(wǎng)絡(luò)層數(shù)增加了，這增加了網(wǎng)絡(luò)的非線性表達(dá)能力。

2、參數(shù)變少了，兩個(gè)3*3和一個(gè)5*5的參數(shù)比例為3×3×2/(5×5)=0.72，同樣的三個(gè)3×3和一個(gè)7×7參數(shù)比例為3×3×3/(7×7)=0.55，將近一倍的壓縮，這可是很大提升。

這就是用3*3卷積帶來(lái)的最明顯的兩個(gè)優(yōu)勢(shì)。

?

思考

近幾年的經(jīng)典網(wǎng)絡(luò)中多半都采用了3*3的小卷積，關(guān)于它的好處還有一些值得研究的空間，大家可以延伸思考下。

?

轉(zhuǎn)載文章請(qǐng)后臺(tái)聯(lián)系

侵權(quán)必究

技術(shù)交流請(qǐng)移步知識(shí)星球

感謝各位看官的耐心閱讀，不足之處希望多多指教。后續(xù)內(nèi)容將會(huì)不定期奉上，歡迎大家關(guān)注有三公眾號(hào) 有三AI！

?

總結(jié)

以上是生活随笔為你收集整理的【AI-1000问】为什么现在大家喜欢用3*3小卷积？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。