據(jù)官方消息，ICLR 2020會(huì)議將取消線下會(huì)議，并于4月25日-30日線上舉辦虛擬會(huì)議。本屆會(huì)議共有 2594篇投稿，其中 687篇論文被接收(48篇oral論文，107篇spotlight論文和531篇poster論文)，接收率為26.5%。

本文介紹發(fā)表在 ICLR 2020 上的論文《FSNet: Compression of Deep Convolutional Neural Networks by Filter Summary》。該工作針對(duì)深度卷積網(wǎng)絡(luò)提出了一種全新的基于可微參數(shù)共享的模型壓縮方法。

文 | Yingzhen Yang

編 | 賈偉

論文鏈接：

https://openreview.net/forum?id=S1xtORNFwH

深度神經(jīng)網(wǎng)絡(luò)的壓縮和加速一直是深度學(xué)習(xí)領(lǐng)域的熱點(diǎn)問題。本文針對(duì)深度卷積網(wǎng)絡(luò)提出了一種全新的基于可微分參數(shù)共享的模型壓縮方法。

注意到卷積網(wǎng)絡(luò)的參數(shù)主要集中于卷積核，新方法提出一種被稱為卷積核概要(Filter Summary)的新型緊湊結(jié)構(gòu)來表示同一個(gè)卷積層中的所有卷積核。

我們將基線網(wǎng)絡(luò)的每一個(gè)卷積層的所有卷積核都用一個(gè)卷積核概要來替代，這樣得到的網(wǎng)絡(luò)被稱為卷積核概要網(wǎng)絡(luò) (Filter Summary Net, or FSNet)。在卷積核概要網(wǎng)絡(luò)中, 同一個(gè)卷積層的所有卷積核都被表示成卷積核概要中的互相重疊的張量。

因?yàn)橄噜従矸e核在它們的重疊區(qū)域自然的共享參數(shù)，卷積核概要的參數(shù)量遠(yuǎn)小于基線網(wǎng)絡(luò)對(duì)應(yīng)層的所有卷積核的參數(shù)量，卷積核概要網(wǎng)絡(luò)的參數(shù)總量也相應(yīng)的遠(yuǎn)小于其基線網(wǎng)絡(luò)的參數(shù)總量。卷積核概要還可以和參數(shù)量化方法結(jié)合，從而進(jìn)一步提高壓縮率。

我們?cè)趫D像分類和目標(biāo)檢測這兩個(gè)計(jì)算機(jī)視覺任務(wù)上展示卷積核概要網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果。

在圖像分類任務(wù)中，在CIFAR-10和ImageNet數(shù)據(jù)集上卷積核概要網(wǎng)絡(luò)的壓縮率均超過了傳統(tǒng)的卷積核剪枝方法。

在目標(biāo)檢測任務(wù)中，我們利用SSD300作為基線網(wǎng)絡(luò)，并采用PASCAL Visual Object Classes (VOC) 2007/2012 作為訓(xùn)練集。配合參數(shù)量化方法，卷積核概要網(wǎng)絡(luò)僅用0.68M參數(shù)量即在VOC 2007的測試集上達(dá)到了70.00% mAP。作為對(duì)照，MobileNetV2 SSD-Lite (Sandler et al., 2018) 需要3.46M參數(shù)量在相同的訓(xùn)練集和測試集上達(dá)到68.60% mAP。

我們進(jìn)一步將卷積核概要網(wǎng)絡(luò)和神經(jīng)網(wǎng)絡(luò)架構(gòu)自動(dòng)搜索的思路結(jié)合，提出可微分卷積核概要網(wǎng)絡(luò) (Differentiable FSNet, or DFSNet)。

我們利用最近的可微分神經(jīng)網(wǎng)路架構(gòu)搜索方法 (Differentiable Architecture Search, DARTS) 中的模型作為基線網(wǎng)絡(luò)，在CIFAR-10數(shù)據(jù)的訓(xùn)練集上訓(xùn)練得到的可微分卷積核概要網(wǎng)絡(luò)僅用1.88M參數(shù)量就在CIFAR-10測試集上達(dá)到了97.19%的分類準(zhǔn)確率。相較于基線網(wǎng)絡(luò) (DARTS)的3.13M參數(shù)量和97.50%準(zhǔn)確率，可微分卷積核概要網(wǎng)絡(luò)在僅損失0.31%的準(zhǔn)確率的代價(jià)下降低了40%的參數(shù)量。

隨著神經(jīng)網(wǎng)絡(luò)架構(gòu)自動(dòng)搜索技術(shù)的發(fā)展，我們相信(可微分)卷積核概要網(wǎng)絡(luò)將在未來發(fā)揮更大的作用。

總結(jié)

以上是生活随笔為你收集整理的卷积核里面的参数怎么来的_FSNet：利用卷积核概要进行深度卷积神经网络的压缩...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。