Deblurring by Realistic Blurring 圖像去模糊論文解讀

原創?H Jiang?GiantPandaCV?5月9日

收錄于話題

#去模糊1

#CVPR1

【GiantPandaCV導語】本文主要對2020年CVPR中由澳大利亞國立大學和騰訊AI Lab聯合發表的Deblurring by Realistic Blurring論文進行解讀，從研究背景、網絡結構、損失函數、實驗結果方面對其進行簡要介紹。論文地址：https://ieeexplore.ieee.org/document/9156306 。

引言

圖像去模糊方法主要包含盲去模糊(blind deblurring)和非盲去模糊(non-blind deblurring)，區別在于模糊核是否已知。傳統的圖像去模糊算法利用了多種先驗，如：全變差(total variation)、重尾梯度先驗(heavy-tailed gradient prior)等。近期隨著深度學習技術的迅猛發展，也提出了基于CNN、基于GAN和基于RNN的用于圖像去模糊的方法，比較著名的如DeblurGAN和DeblurGAN-v2等，而這些方法都專注于從模糊圖像中恢復清晰圖像本身，而忽略了圖像模糊這個源頭，因此并沒有對圖像模糊過程進行建模；同時由于數據集的稀缺，很多方法都采用了數據增強的方式來增加數據樣本，但是大多數情況下合成的模糊圖像與真實圖像相差甚遠。因此這篇文章從圖像模糊過程本身和合成圖像真實性出發，提出了一種全新的GAN網絡，包含learning-to-Blur GAN(BGAN)和learning-to-DeBlur GAN(DBGAN)兩個子網絡，其中BGAN的作用是學習圖像模糊過程本身以及生成更符合自然模糊圖像的合成圖像，用于DBGAN訓練；DBGAN的作用是進行去模糊操作，從模糊圖像中恢復清晰圖像。

網絡簡介

網絡結構

如下圖所示，BGAN的生成器和DBGAN的生成器網絡結構非常類似，BGAN的生成器包含3個獨立的卷積層，以及9個ResBlock，每個ResBlock包含5個3x3的卷積層以及4個ReLU激活層，DBGAN的生成器同樣包含3個獨立的卷積層，但是ResBlock的個數為16個。BGAN和DBGAN的鑒別器都采用的VGG-19網絡。

BAGN和DBGAN網絡結構

受到SinGAN工作的啟發，本文中也采用了同樣的工作原理，在BGAN的生成器中隨機添加噪聲；首先從正態分布中采樣長度為4的向量，再將其在空間維度重復128x128次得到4x128x128的噪聲圖，將其與公開數據集中獲得的清晰圖像一起作為BGAN生成器的輸入，最終得到的輸出結果為逼真的合成模糊圖像。為了更好的滿足GAN網絡的訓練，文中還收集了額外的真實世界模糊圖像數據集用以BGAN鑒別器訓練，以得到更加真實的合成圖像。DBGAN的輸入為BGAN生成的模糊圖像，其目的是為了從模糊圖像中恢復得到清晰的圖像，因此DBGAN的輸出即為清晰圖像。

損失函數

BGAN網絡的損失函數包含Perceptual loss和Adversarial loss兩部分，其中Perceptual loss針對輸入的清晰圖像和合成的模糊圖像，Adversarial loss針對合成的模糊圖像和新搜集的真實世界模糊圖像，BGAN的目的就是模擬真實模糊圖像的模糊過程，以得到逼真的合成模糊圖像。DBGAN網絡的損失函數包含Perceptual loss、Content loss和Adversarial loss三部分，在BGAN的基礎上增加了MSE loss作為Content loss，DBGAN的目的是從輸入的模糊圖像中恢復出清晰圖像。兩個網絡的Adversarial loss與以往的GAN對抗損失有所區別，文章中提出了一種新的對抗損失：Relativistic Blur Loss(RBL/RDBL). 傳統的對抗損失的目的是訓練鑒別器區別真假的能力，反過來使得生成器能夠生成更加”真“的圖像，也就是將原來標記為”0“的生成圖像訓練的更加像真實世界圖像，促使其標記值趨近于”1“；如下公式所示：

傳統對抗損失函數

而文章采用的RBL損失函數則是將標記值為”0“的合成圖像和標記值為”1“的真實圖像都推向0.5，互補的更新生成器參數，能夠生成更加逼真的合成圖像，如下圖所示：

RBL模糊過程簡介

基于此觀點，RBL(RDBL)損失函數可以描述為：

RBL損失函數構造

RDBL損失函數構造

所以BGAN和DBGAN的整體損失函數為:

BGAN和DBGAN整體損失函數構造

實施細節

在訓練BGAN和DBGAN時，采用了均值為0標準差為0.01的高斯分布來初始化權重；設置batch size=4，patchsize=128x128；學習率初始為0.0001，在損失函數值收斂后降為0.0000001；RBL和RDBL損失中的超參數α和β分別為0.005、0.01.

實驗結果

作者在圖像去模糊非常流行的GoPro數據集上進行實驗，獲得了SOTA的結果：

GoPro數據集上的定量結果比較

在峰值信噪比(PSNR)和圖像相似性程度(SSIM)上都獲得了一定提升。視覺效果如下圖所示：

GoPro數據集上的視覺效果展示

從左到右分別為模糊圖像、Nah等人的算法、Tao等人的算法和本文的方法，可以看出本文的方法在細節表現上更為出色，結果更加清晰。

總結

這篇文章的創新點主要在于設計了一個可以生成逼真合成模糊圖像的GAN網絡，并提出了一種新的對抗損失函數；其實很多領域都可以借鑒這篇文章的方法來生成數據集；如：低光圖像增強、圖像去霧、圖像去雨等，可以很大程度減少搜集數據的難度，總體來說，這篇文章在數據集生成上開辟了一條新的道路，很有借鑒意義！(如有不同見解可聯系：j1269998232@163.com)

原文地址：https://mp.weixin.qq.com/s/Hee6PTXZ1ZgtgMpWLthV_w

總結

以上是生活随笔為你收集整理的Deblurring by Realistic Blurring 图像去模糊论文解读的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。