---

←上一篇↓↑下一篇→

2.4 殘差網絡為什么有用？	回到目錄	2.6 谷歌 Inception 網絡簡介

---

網絡中的卷積及1x1卷積 (Network in Network and 1x1 Convolutions)

在架構內容設計方面，其中一個比較有幫助的想法是使用1×1卷積。也許你會好奇，1×1的卷積能做什么呢？不就是乘以數字么？聽上去挺好笑的，結果并非如此，我們來具體看看。

過濾器為1×1，這里是數字2，輸入一張6×6×1的圖片，然后對它做卷積，起過濾器大小為1×1×1，結果相當于把這個圖片乘以數字2，所以前三個單元格分別是2、4、6等等。用1×1的過濾器進行卷積，似乎用處不大，只是對輸入矩陣乘以某個數字。但這僅僅是對于6×6×1的一個通道圖片來說，1×1卷積效果不佳。

如果是一張6×6×32的圖片，那么使用1×1過濾器進行卷積效果更好。具體來說，1×1卷積所實現的功能是遍歷這36個單元格，計算左圖中32個數字和過濾器中32個數字的元素積之和，然后應用ReLU非線性函數。

我們以其中一個單元為例，它是這個輸入層上的某個切片，用這36個數字乘以這個輸入層上1×1切片，得到一個實數，像這樣把它畫在輸出中。

這個1×1×32過濾器中的32個數字可以這樣理解，一個神經元的輸入是32個數字（輸入圖片中左下角位置32個通道中的數字），即相同高度和寬度上某一切片上的32個數字，這32個數字具有不同通道，乘以32個權重（將過濾器中的32個數理解為權重），然后應用ReLU非線性函數，在這里輸出相應的結果。

一般來說，如果過濾器不止一個，而是多個，就好像有多個輸入單元，其輸入內容為一個切片上所有數字，輸出結果是6×6過濾器數量。

所以1×1卷積可以從根本上理解為對這32個不同的位置都應用一個全連接層，全連接層的作用是輸入32個數字（過濾器數量標記為 $n_c^{[l+1]}$ ，在這36個單元上重復此過程）,輸出結果是6×6×#filters（過濾器數量），以便在輸入層上實施一個非平凡（non-trivial）計算。

這種方法通常稱為1×1卷積，有時也被稱為Network in Network，在林敏、陳強和楊學成的論文中有詳細描述。雖然論文中關于架構的詳細內容并沒有得到廣泛應用，但是1×1卷積或Network in Network這種理念卻很有影響力，很多神經網絡架構都受到它的影響，包括下節課要講的Inception網絡。

舉個1×1卷積的例子，相信對大家有所幫助，這是它的一個應用。

假設這是一個28×28×192的輸入層，你可以使用池化層壓縮它的高度和寬度，這個過程我們很清楚。但如果通道數量很大，該如何把它壓縮為28×28×32維度的層呢？你可以用32個大小為1×1的過濾器，嚴格來講每個過濾器大小都是1×1×192維，因為過濾器中通道數量必須與輸入層中通道的數量保持一致。但是你使用了32個過濾器，輸出層為28×28×32，這就是壓縮通道數（ $n_c$ ）的方法，對于池化層我只是壓縮了這些層的高度和寬度。

在之后我們看到在某些網絡中1×1卷積是如何壓縮通道數量并減少計算的。當然如果你想保持通道數192不變，這也是可行的，1×1卷積只是添加了非線性函數，當然也可以讓網絡學習更復雜的函數，比如，我們再添加一層，其輸入為28×28×192，輸出為28×28×192。

1×1卷積層就是這樣實現了一些重要功能的（doing something pretty non-trivial），它給神經網絡添加了一個非線性函數，從而減少或保持輸入層中的通道數量不變，當然如果你愿意，也可以增加通道數量。后面你會發現這對構建Inception網絡很有幫助，我們放在下節課講。

這節課我們演示了如何根據自己的意愿通過1×1卷積的簡單操作來壓縮或保持輸入層中的通道數量，甚至是增加通道數量。下節課，我們再講講1×1卷積是如何幫助我們構建Inception網絡的，下節課見。

課程板書

---

←上一篇↓↑下一篇→

2.4 殘差網絡為什么有用？	回到目錄	2.6 谷歌 Inception 網絡簡介

---

總結

以上是生活随笔為你收集整理的2.5 网络中的网络及1x1卷积-深度学习第四课《卷积神经网络》-Stanford吴恩达教授的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。