原文出處：http://zhangliliang.com/2014/09/22/paper-note-maxout-and-nin/

論文筆記 《Maxout Networks》 && 《Network In Network》

發(fā)表于 2014-09-22?? | ??1條評(píng)論

出處

maxout：http://arxiv.org/pdf/1302.4389v4.pdf
NIN：http://arxiv.org/abs/1312.4400

參考

maxout和NIN具體內(nèi)容不作解釋下，可以參考：
Deep learning：四十五(maxout簡單理解)
Network In Network

各用一句話概括

• 常規(guī)卷積層： conv→relu
• maxout： several conv(full)→max
• NIN： serveral conv(full)→relu→conv(1x1)→relu

具體一點(diǎn)

• 常規(guī)卷積層：conv→relu
  • conv： conv_out=∑(x·w)
  • relu： y=max(0， conv_out)
• maxout：several conv(full)→max
  • several conv (full): conv_out1 = x·w_1, conv_out2 = x·w_2, …
  • max： y = max(conv_out1, conv_out2, …)
• NIN： conv→relu→conv(1x1)→relu
  • several conv (full): conv_out1 = x·w_1, conv_out2 = x·w_2, …
  • relu: relu_out1 = max(0, conv_out1), relu_out2 = max(0, conv_out2), …
  • conv(1x1): conv_1x1_out = [relu_out1, relu_out2, …]·w_1x1
  • relu: y = max(0, conv_1x1_out)

舉例子解釋

假設(shè)現(xiàn)在有一個(gè)3x3的輸入，用一個(gè)9維的向量x代表，卷積核大小也是3x3，也9維的向量w代表。

• 對(duì)于常規(guī)卷積層，直接x和w求卷積，然后relu一下就好了。
• maxout，有k個(gè)的3x3的w（這里的k是自由設(shè)定的），分別卷積得到k個(gè)1x1的輸出，然后對(duì)這k個(gè)輸入求最大值
• NIN，有k個(gè)3x3的w（這里的k也是自由設(shè)定的），分別卷積得到k個(gè)1x1的輸出，然后對(duì)它們都進(jìn)行relu，然后再次對(duì)它們進(jìn)行卷積，結(jié)果再relu。（這個(gè)過程，等效于一個(gè)小型的全連接網(wǎng)絡(luò)）

圖例

繼續(xù)渣手繪，從上到下分別對(duì)應(yīng)常規(guī)卷積層，maxout，NIN：

總結(jié)

總的來說，maxout和NIN都是對(duì)傳統(tǒng)conv+relu的改進(jìn)。
maxout想表明它能夠擬合任何凸函數(shù)，也就能夠擬合任何的激活函數(shù)（默認(rèn)了激活函數(shù)都是凸的）
NIN想表明它不僅能夠擬合任何凸函數(shù)，而且能夠擬合任何函數(shù)，因?yàn)樗举|(zhì)上可以說是一個(gè)小型的全連接神經(jīng)網(wǎng)絡(luò)

#CNN?#Computer Vision

總結(jié)

以上是生活随笔為你收集整理的论文笔记 《Maxout Networks》 《Network In Network》的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。