大家好，又見面了，我是你們的朋友風君子。

RDN——Residual Dense Network—— 殘差深度網絡。RDN是基于深度學習的超分方法之一，發表于CVPR 2018。

網絡結構

RDN網絡結構分為4個部分：

1. SFENet(Shallow Feature Extraction Net, 淺層特征提取網絡)；
2. RDBs( Residual Dense Blocks, 殘差稠密塊)；
3. DFF(Dense Feature Fusion, 稠密特征塊 )；
4. Up-Sampling Net(上采樣網絡)。

SFENet:
包含兩個CONV層，用于提取淺層特征。

RDBs:
包含D個RDB，用于提取各層特征，一個RDB提取出一個局部特征。RDB結構如下圖（c）所示：

可以看出，RDB = Residual block(殘缺塊) + Dense block(稠密塊)
由于網絡深度的增加，每層CONV層的特征會逐漸分級（得到hierarchical features），因為有不同的感受野（receptive fileds）。而Hierarchical features對圖像重建提供了重要信息， 我們要充分利用所有層的信息和特征。

一個RDB結構分為3個部分：

1. CM(Contiguous Memory 近鄰記憶)
   RDB含有C個[CONV+ReLU]，CM機制會將上一個RDB的狀態發送到當前RDB中的每一個CONV層，也就是圖（c）的小橋們；

2. LFF(Local Feature Fusion 局部特征融合)
   LLF將前一個RDB的各個狀態與當前RDB的所有CONV層融合在一起。
   RDN中，前一個RDB輸出的feature-map 是直接與當前RDB串聯起來的，這時，減少feature的數量就很有必要了。我們使用一個11的CONV來減少feature的數量/控制輸出信息：11CONV用于減少通道數，并保持nh,nw不變；

3. LRL(Local Residual Learning 局部殘差學習)
   也就是將以下兩者加起來，看c圖下部的紅箭頭以及綠色加號：前一RDB的輸出 + 上面LFF的1*1CONV的輸出。引入LRL以進一步提高信息流、提高網絡表示能力，以達到更好的性能。

DFF(Dense Feature Fusion, 稠密特征塊 ):
DFF在全局上提取各層特征。包含兩個部分：

1. GFF（global feature fusion 全局特征融合）
   GFF 用于將所有RDB提取到的特征融合在一起，得到全局特征。GFF分為兩部分：1×1 CONV 融合一系列的特征（1*1CONV的作用就是減少通道數，并保持Nh, Nw）。3×3 CONV 為下一步的GRL進一步提取特征；
2. GRL（global residual learning 全局殘差學習）
   就是RDN結構圖中的綠色加號。就是實現：淺層特征 + 所有RDB提取到的特征；
3. UPNet（Up-Sampling Net 上采樣網絡）
   該模塊表示網絡最后的上采樣+卷積操作。實現了輸入圖片的放大操作。

實現細節

1. 除了用于融合局部或全局特征的CONV層的kernel size = 1×1 外，其他的CONV層都是 3×3的；
2. kernel size = 3×3的CONV層，都用SAME padding 以保持inputsize不變
   淺層特征提取層、局部全局特征融合層的CONV的filter數量都是G0 = 64；
3. 其他層（RDB中）的CONV的filter數量都是G，并使用ReLU作為其激活函數；
4. 使用ESPCNN（Sub-Pixel）來提高粗分辨率特征，從而使得UPNet性能更好；
5. RDN最后的CONV，若需要輸出彩色高清圖像，則可設置其輸出的channel = 3；若需要輸出灰度高清圖像，可設置其輸出的channel = 1。

討論（與其他網絡的區別）

Difference to DenseNet:

1. 與DenseNet不同：移除了BN層，以提高運算速度降低計算復雜度和GPU內存的消耗；
2. 與DenseNet不同：移除了Pooling層，防止其將像素級的信息給去除掉；
3. 與DenseNet不同：使用GFF將各RDB提取的特征全部concat起來，充分利用。而DenseNet 整個網絡中只使用每一個DenseBlock最后的輸出。

Difference to SRDenseNet:

1. 在RDB中，提取全局特征時不使用Dense Connection，取而代之的是
2. DFF（Dense Feature Fusion, 稠密特征塊，包含GFF和GRL)
   損失函數：SRDenseNet使用L2 ；RDN使用L1（提高了性能，加快了收斂）。

Difference to MemNet:

1. 損失函數：MemNet使用L2 ；RDN使用L1（提高了性能，加快了收斂）；
2. MemNet要用Bicubic插值方式對LR圖片進行上采樣，從而使LR圖片達到所需的大小，這就導致特征提取和重建過程都在HR空間（高分辨率空間）中進行；而RDN從原始的LR圖片（低分辨率圖片）提取各層特征，很大程度上減少了計算的復雜度，并提高了性能；
3. MemNet中包含了遞歸和門限單元，這使得當前層不能接收上一層的輸入，而RDB的前后模塊是有交互的

實驗設置

數據集:

1. 數據集： DIV2K(800 training imgs + 100 vali imgs + 100 testing imgs)；
2. 訓練：DIV2K——800 training img + 5 vali img；
3. 測試：五個standard benchmark datasets：Set5 [1], Set14 [33], B100 [18], Urban100 [8], and Manga109 [19]。

退化模型:
訓練的輸入圖片（LR）使用DIV2K的高清圖片通過下面3種退化模型得到：

1. BI模型：Bicubic插值方式對高清圖片進行下采樣， 縮小比例為x2，x3，x4；
2. BD模型：先對高清圖片做（7*7卷積，1.6方差）高斯濾波，再對濾波后圖片做下采樣， 縮小比例為x3；
3. DN模型：①Bicubic插值方式對高清圖片進行下采樣， 縮小比例為x3，②再加30%的高斯噪聲。

實驗結果

可看出， CM, LRL, and GFF 缺一不可，缺一個性能就下降。

1. 在BI退化模型下：
   
   
2. 在BD和DN退化模型下：
   
   
   

參考博客

超分辨率-RDN

總結

以上是生活随笔為你收集整理的【图像超分辨】RDN的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。