（方法三首頁demo）

相關(guān)資源

論文：Restoring An Image Taken Through a Window Covered with Dirt or Rain
首頁：https://cs.nyu.edu/~deigen/rain/

傅雪陽首頁：https://xueyangfu.github.io/
廈門大學(xué)智能數(shù)據(jù)分析與處理實驗室：https://xmu-smartdsp.github.io/

論文筆記

01. Restoring an image （ICCV 2013）

在我們拍攝照片的時候會遇到透過玻璃拍攝的場景，如窗戶、車窗，或者透過玻璃自拍等，而玻璃上的污漬會影響照片的效果，這篇論文針對這類透過玻璃拍攝的照片，進(jìn)行污跡或者雨漬的去除。

CNN結(jié)構(gòu)同LeNet，函數(shù)表示：

? 表示的RGB輸入圖像，激活函數(shù)使用tanh，第一個卷積層使用“valid”填充，卷積核大小為（果然年代久遠(yuǎn)，還有偶數(shù)的大卷積核）；最后一層使用“full”填充，卷積核大小為8；中間使用的卷積，通道數(shù)為512，共兩個中間層（L=3）。所以W1 ：，W2：，W3：。

損失函數(shù)采用輸入標(biāo)簽和網(wǎng)絡(luò)輸出的MSE：

輸入為大小的圖像塊，輸出大小為，做MSE時，和GT中間對應(yīng)像素相減。采用隨機(jī)梯度下降（SGD）更新可訓(xùn)練參數(shù)：

為學(xué)習(xí)率，參數(shù)初始化使用均值為0，方差為0.001的正態(tài)分布，偏置b初始化為0，學(xué)習(xí)率衰減因子：0.001，不使用動量和權(quán)重正則化。

測試環(huán)境：Matlab + Nvidia GTX 580；耗時：?彩色圖像60s，彩色圖像7s。

02.?Clearing the Skies (TIP 2017)

論文主要借鑒上一篇文章的網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)計了一個改進(jìn)的單圖像去雨CNN結(jié)構(gòu)，主要改進(jìn)點：

• CNN映射有雨圖和去雨圖的細(xì)節(jié)層，而不是直接在原圖建立映射關(guān)系。

• 未將網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜化，而是通過雨滴先驗知識進(jìn)行圖像預(yù)處理，改變了優(yōu)化的目標(biāo)函數(shù)。

網(wǎng)絡(luò)結(jié)構(gòu)

CNN結(jié)構(gòu)函數(shù)表示：

作者把雨滴視為圖像高頻部分，通過低通濾波（引導(dǎo)濾波、雙邊濾波或者滾動濾波）將有雨圖I和其無雨圖標(biāo)簽J分別分為基礎(chǔ)層和細(xì)節(jié)層：

基礎(chǔ)層為平滑后的圖像，有：，所以只需要建立兩個細(xì)節(jié)層的映射關(guān)系即可，損失函數(shù)由原來預(yù)測圖與標(biāo)簽圖的MSE變?yōu)榱?

訓(xùn)練時，參數(shù)設(shè)置同第一篇論文一致，輸入圖像塊，輸出大小圖像。

圖像增強(qiáng)處理

網(wǎng)絡(luò)訓(xùn)練完成后，去雨結(jié)果圖像可以直接通過以下運算得到：

但是在雨比較大的情況下，會出現(xiàn)霧的情況，影響視覺效果，所以對基礎(chǔ)層和輸出的細(xì)節(jié)層做了圖像增強(qiáng)：

03.?deep detail network (CVPR 2017)

論文在上一篇的基礎(chǔ)上進(jìn)行了進(jìn)一步優(yōu)化，設(shè)計了一個改進(jìn)的單圖像去雨CNN結(jié)構(gòu)，主要改進(jìn)點：

• 建立真實圖像和雨圖之間的負(fù)殘差映射，再次縮小映射范圍，優(yōu)化映射空間。

• 使用殘差結(jié)構(gòu)，可以使用更深的網(wǎng)絡(luò)建立映射關(guān)系，并通過先驗知識，輸入圖像細(xì)節(jié)層。

CNN結(jié)構(gòu)函數(shù)表示：

其中，

L為CNN總層數(shù)，*表示卷積操作，BN表示batch normalization，表示激活函數(shù)ReLU，不使用池化操作。

利用引導(dǎo)濾波將雨跡圖劃分為細(xì)節(jié)層和基礎(chǔ)層（同上一篇）。

損失函數(shù)：

參數(shù)設(shè)置：層數(shù)L=26，優(yōu)化器：SGD，權(quán)重衰減因子，動量0.9，batch size：20，初始學(xué)習(xí)率：0.1，迭代100K/200K時除以10，共迭代210K次，卷積核大小為3，個數(shù)為16。

04.? Residual-Guide Network (ACM MM 2018)

同樣采用負(fù)殘差映射的思想設(shè)計了一個CNN單圖像去雨網(wǎng)絡(luò)ResGuideNet，主要貢獻(xiàn)點：

• 通過由淺入深的Block結(jié)構(gòu)，獲取由粗到細(xì)獲取負(fù)殘差輸出。

• 通過聯(lián)合損失優(yōu)化每個Block輸出，根據(jù)集成學(xué)習(xí)的思想融合所有負(fù)殘差輸出。

CNN結(jié)構(gòu)函數(shù)形式：

特征復(fù)用：通過密集連接復(fù)用每一個Block輸出的負(fù)殘差特征。

循環(huán)計算：如結(jié)構(gòu)圖左下角左下角所示，為平衡模型參數(shù)和性能，每個Block內(nèi)部的兩個卷積層采用循環(huán)計算的策略加深Block深度，函數(shù)表示：

為了避免結(jié)構(gòu)加深帶來的梯度消失的問題，將Block第一個 Conv+LReLU的輸出加到每個子循環(huán)中：

塊間融合：如結(jié)構(gòu)圖右下角所示：通過集成學(xué)習(xí)的思想將不同Block的預(yù)測結(jié)果concatenate在一起，最后通過卷積得到最后的結(jié)果。

損失函數(shù)：對于每一個Block，采用+SSIM loss 損失函數(shù)：

M個Block和最后merge輸出的總損失：

實驗細(xì)節(jié)：環(huán)境：python + TensorFlow、NVIDIA GeForce GTX 1080(8GB)，初始化：Xavier，優(yōu)化器：RMSProp，初始學(xué)習(xí)率：0.001，batch size：16，迭代次數(shù)：50000，每層卷積為：16個，輸出層卷積，3個。

05. Lightweight Pyramid Networks (T-NNLS 2019)

為了使去雨網(wǎng)絡(luò)更輕量化，使其適用于移動設(shè)備，作者提出了輕量級的金字塔去雨網(wǎng)絡(luò)LPNet，參數(shù)量少于8K，主要貢獻(xiàn)：

• 將傳統(tǒng)的高斯-拉普拉斯金字塔運用到CNN中，使用一個參數(shù)量少的小網(wǎng)絡(luò)可實現(xiàn)很好的結(jié)果。

• 結(jié)合多尺度、循環(huán)計算和殘差學(xué)習(xí)技術(shù)，在大雨場景下，也能很好地實現(xiàn)單圖像去雨。

CNN結(jié)構(gòu)函數(shù)形式：

a、構(gòu)建拉普拉斯金字塔

b、特征提取網(wǎng)絡(luò)

c、循環(huán)模塊

d、重建高斯金字塔

作者之前提出方法（方法二、方法三）通過引導(dǎo)濾波將圖像分解成基礎(chǔ)層和細(xì)節(jié)層，運用細(xì)節(jié)層訓(xùn)練可以有效減小優(yōu)化空間，但是引導(dǎo)濾波針對雨量比較厚的圖像達(dá)不到很好的細(xì)節(jié)提取效果。于是，作者使用拉普拉斯金字塔將圖像分解為不同尺度的圖像金字塔，并分別進(jìn)行去雨處理。

損失函數(shù):

實驗細(xì)節(jié)：

5個尺度的拉普拉斯金字塔：[0.0625, 0.25, 0.375, 0.25, 0.0625]為構(gòu)建高斯金字塔的固定平滑核。

所有子網(wǎng)絡(luò)結(jié)構(gòu)相同，卷積核個數(shù)不同，卷積核大小為 3x3，卷積核大小為1，每個子網(wǎng)絡(luò)循環(huán)block次數(shù)T = 5，激活函數(shù)LReLUs，參數(shù)為: 0.2。

使用【2】生成的雨圖，包含大雨圖像和小雨圖像，輸入大小?圖像塊，Adam優(yōu)化器，batch size為10，學(xué)習(xí)率：0.001，epoch為3。

（論文實驗結(jié)果對比）

用code搞事情

上述論文代碼均開源在作者首頁，包括matlab或者python+TensorFlow實現(xiàn)。我們借鑒了方法三和論文【2】多任務(wù)的思想，參加了馬上金融的圖像污跡去除賽道，并獲得了第一名的成績。

（提出的人臉去污網(wǎng)絡(luò)結(jié)構(gòu)）

該模型訓(xùn)練過程中輸入數(shù)據(jù)包括：網(wǎng)紋圖像X，真實圖像Y，mask圖像M。對于真實圖像輸出分支，目標(biāo)函數(shù)使用均方誤差loss1；針對mask輸出分支，我們使用交叉熵?fù)p失loss2。兩者采用1:1的比例相加得到最后需要優(yōu)化的損失函數(shù)loss，具體公式如式：

其中，N為訓(xùn)練圖片數(shù)量，為卷積神經(jīng)網(wǎng)絡(luò)，為網(wǎng)絡(luò)要學(xué)習(xí)的參數(shù)，除了兩個分支上的權(quán)重不同以外，其余權(quán)重兩個分支權(quán)重共享，表示為第i張圖片的細(xì)節(jié)層，通過引導(dǎo)濾波所得。

模型的損失函數(shù)：

（人臉去污結(jié)果）

參考文獻(xiàn)

【1】 Deep joint rain detection and removal from a single image

【2】 Multi-task ConvNet for blind face inpainting with application to face verification

長按二維碼關(guān)注我們

有趣的靈魂在等你

留言請摁

總結(jié)

以上是生活随笔為你收集整理的论文创新，可以看看这几篇去雨文章是怎么做的的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。