深度學習之卷積神經網絡（13）DenseNet

?Skip Connection的思想在ResNet上面獲得了巨大的成功，研究人員開始嘗試不同的Skip Connection方案，其中比較流行的就是DenseNet[1]。DenseNet將前面所有層的特征圖信息通過Skip Connection與當前層輸出進行聚合，與ResNet的對應位置相加方式不同，DenseNet采用在通道軸$c$維度進行拼接操作，聚合特征信息。

[1] G. Huang, Z. Liu 和 K. Q. Weinberger, “Densely Connected Convolutional Networks,” CoRR, 卷 abs/1608.06993, 2016.

?如下圖所示，輸入${\mathbf{X}}_0$通過${\text{H}}_1$卷積層得到輸出${\mathbf{X}}_1$，${\mathbf{X}}_1$與${\mathbf{X}}_0$在通道軸上進行拼接，得到聚合后的特征張量，送入${\text{H}}_2$卷積層，得到輸出${\mathbf{X}}_2$，同樣的方法，${\mathbf{X}}_2$與前面所有層的特征信息${\mathbf{X}}_1$與${\mathbf{X}}_0$進行聚合，再送入下一層。如此循環，直至最后一層的輸出${\mathbf{X}}_4$和前面所有層的特征信息$\{X_i{\}}_{i=0,1,2,3}$進行聚合得到模塊的最終輸出。這樣一種基于Skip Connection稠密連接的模塊叫做Dense Block。

Dense Block結構

?DenseNet通過堆疊多個Dense Block構成復雜的深層神經網絡，如下圖所示:

一個典型的DenseNet結構

?下圖比較了不同版本的DenseNet的性能、DenseNet與ResNet的性能比較，以及DenseNet與ResNet訓練曲線。

DenseNet與ResNet性能比較

總結

以上是生活随笔為你收集整理的深度学习之卷积神经网络（13）DenseNet的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。