目錄

論文鏈接：

摘要：

網(wǎng)絡(luò)結(jié)構(gòu)

MobileNet架構(gòu)

MobileNet的兩個(gè)超參數(shù)

實(shí)驗(yàn)結(jié)果

---

論文鏈接：

MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

發(fā)表時(shí)間：2017年

作者：?Menglong Zhu

摘要：

本文提出的MobileNets基于流線型架構(gòu)，使用深度可分離卷積來(lái)構(gòu)建輕量級(jí)深度神經(jīng)網(wǎng)絡(luò)。介紹了兩個(gè)簡(jiǎn)單的全局超參數(shù)（寬度乘法器和分辨率乘法器），它們可以在延遲和準(zhǔn)確性之間進(jìn)行有效的折衷。這些超參數(shù)允許模型構(gòu)建者根據(jù)問(wèn)題的約束為其應(yīng)用程序選擇合適大小的模型。

網(wǎng)絡(luò)結(jié)構(gòu)

• 深度可分離卷積

(a)中的標(biāo)準(zhǔn)卷積濾波器被兩層代替：（b）中的深度卷積和（c）中的逐點(diǎn)卷積以構(gòu)建深度可分離的濾波器

• 計(jì)算量

假定輸入特征圖大小是：

輸出特征圖大小是：

對(duì)于標(biāo)準(zhǔn)的卷積：

計(jì)算量將是：

depthwise convolution計(jì)算量為：

pointwise convolution計(jì)算量是：

depthwise separable convolution總計(jì)算量是

可以比較depthwise separable convolution和標(biāo)準(zhǔn)卷積如下：

MobileNet架構(gòu)

MobileNet基礎(chǔ)結(jié)構(gòu)中，依然在Depthwise和Pointwise中間和后面使用bn+ReLU來(lái)優(yōu)化模型。

MobileNet的兩個(gè)超參數(shù)

• 寬度乘數(shù)：稀疏模型

為了構(gòu)造這些更小，計(jì)算量更小的模型，我們引入了一個(gè)非常簡(jiǎn)單的參數(shù)α，稱為寬度乘法器。寬度乘數(shù)α的作用是通過(guò)按比例減少通道數(shù)在每層均勻地減薄網(wǎng)絡(luò)。對(duì)于給定的層和寬度乘數(shù)α，輸入通道M的數(shù)量變?yōu)棣罬，輸出通道數(shù)量N變?yōu)棣罭。

具有寬度乘法器α的深度可分離卷積的計(jì)算成本為：

α范圍為（0，1],通常設(shè)置為1，0.75，0.5和0.25

• 分辨率乘數(shù)：簡(jiǎn)化表示

分辨率乘數(shù)ρ用來(lái)改變輸入數(shù)據(jù)層的分辨率，其中ρ范圍為（0，1]通常隱式設(shè)置，以便網(wǎng)絡(luò)的輸入分辨率為224,192,160或128。ρ=1是MobileNet的基線，ρ<1是計(jì)算MobileNets的縮減。我們現(xiàn)在可以將網(wǎng)絡(luò)核心層的計(jì)算成本表示為深度可分卷積，其中寬度乘法器α和分辨率乘法器ρ：

實(shí)驗(yàn)結(jié)果

（1)同樣是MobileNets的架構(gòu)，使用可分離卷積，精度值下降1%，而參數(shù)僅為1/7;

? (2)深且瘦（Narrow）的網(wǎng)絡(luò)比淺且胖（Shallow）的網(wǎng)絡(luò)準(zhǔn)確率高3%;

?(3)α 超參數(shù)減小的時(shí)候，模型準(zhǔn)確率隨著模型的變瘦而下降;

?(4)ρ 超參數(shù)減小的時(shí)候，模型準(zhǔn)確率隨著模型的分辨率下降而下降;

?(5)引入兩個(gè)參數(shù)會(huì)給肯定會(huì)降低MobileNet的性能，總結(jié)來(lái)看是在accuracy和computation，以及accuracy和model size之間做折中。

?

總結(jié)

以上是生活随笔為你收集整理的MobileNet论文阅读笔记的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。