論文題目：Dynamic Convolution: Attention over Convolution Kernels

論文下載：

Dynamic Convolution: Attention over Convolution Kernels?arxiv.org

簡介:

輕量級卷積神經(jīng)網(wǎng)絡(luò)(CNNs)由于計算預算較低，不僅限制了其卷積層的深度(即卷積層的數(shù)量)，還限制了其信道的寬度(即信道的數(shù)量)，從而導致其性能下降。為了解決這個問題，我們提出了動態(tài)卷積，一種新的設(shè)計，增加模型的復雜性而不增加網(wǎng)絡(luò)的深度或?qū)挾取討B(tài)卷積不是每層使用一個卷積核，而是根據(jù)與輸入相關(guān)的階次卷積核的性質(zhì)動態(tài)地聚合多個階次卷積核。由于核的尺寸較小，配置多個內(nèi)核不僅具有較高的計算效率，而且由于這些內(nèi)核采用非線性的聚合方式，因此具有更強的表示能力。通過對最先進的MobileNetV3-Small簡單地使用動態(tài)卷積，僅增加4%的延遲，將ImageNet分類的最高一級精度提高了2.9%，在COCO關(guān)鍵點檢測上獲得了2.9的AP增益。

動態(tài)卷用K個平行卷積代替了單個卷積，沒有正增加網(wǎng)絡(luò)的深度或?qū)挾?/p>

Dynamic Convolutional Neural Networks

對于不同的輸入圖像，這些內(nèi)核的符號是不同的，動態(tài)卷積就是從這里得名的。

Preliminary: Dynamic Perceptron

傳統(tǒng)的靜態(tài)感知：

K個線性集成的動態(tài)感知：

計算約束可以表示為:

動態(tài)卷積：

主要思想：其實就是channel attention， 根據(jù)輸入數(shù)據(jù)來為每個通道分配不同權(quán)重，而且同一通道上的權(quán)重都相等，缺失空間性（個人觀點）類似SEnet。

訓練深度DY-CNNs的兩個見解：

約束：

約束注意輸出可以促進注意模型的學習

在mobilenetv2下的性能對比：

實驗結(jié)果：

總結(jié)：

本文引入了動態(tài)卷積，即根據(jù)多個卷積核對每個輸入的關(guān)注程度，動態(tài)地對它們進行聚合。與靜態(tài)算法(每層只有一個卷積核)相比，該算法顯著提高了網(wǎng)絡(luò)的表示能力，但增加了大量的計算開銷，對高效的網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)更加友好。我們的動態(tài)卷積可以很容易地集成到現(xiàn)有的CNN架構(gòu)中。通過簡單地將MobileNet (V2和V3)中的每個卷積核替換為動態(tài)卷積，我們在im- age分類和人體姿態(tài)估計方面都取得了實質(zhì)性的改進。我們希望動態(tài)卷積成為一個有用的組成部分，為更多的網(wǎng)絡(luò)架構(gòu)。

總結(jié)

以上是生活随笔為你收集整理的单元格自适应宽度_Dynamic Conv:自适应卷积内核有效提升网络模型的表征能力不增加模型深度和宽度，牺牲一点延迟...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。