論文：https://arxiv.org/pdf/2101.02824.pdf

代碼：https://github.com/TaoHuang2018/Neighbor2Neighbor

下面內容來自智源研究院CVPR2021預講華為諾亞專場

1、深度學習的圖像去噪方法面臨的挑戰

當前方法主要包括三類：

基于監督學習的方法：使用 noisy-clean 圖像對進行訓練（DnCNN, FFDNet, CBDNet, SGNet）。這類方法的難點在于，在真實場景中，比較難以獲取 noisy-clean 的圖像對
Noise2Noise（ICML18）： 使用 Noisy-noisy 圖像對進行訓練，每個場景都需要 multiple independent observations 。在應用上有局限性：室內靜態場景、MRI重建等
基于自監督的方法： 1）單張圖像自身信息挖掘，代表方法是Deep image prior, Self2self, NoiseAsClean；2）Blind-spot network: 需要修改網絡結構，訓練困難，性能有限（noise2void，DBSN）；3）噪聲建模方法：預測噪聲分布，在實際場景中難以應用（Laine19）

2、Noise2Noise回顧

Noise2Noise是一個不需要 clean 數據的圖像修復方法：

Train arbitrary denosing network without the need of clean images.
Requires pairs of independent noisy images of the same scene.

訓練目標：

Given two indpendent noisy observations (y), (z) of the same unobserved image (x)

minimizing (argmin mathbb{R}_{x,y,z}||f_ heta(y)-z ||^2_2) yields the same solution as fully-supervised (noisy-clean pair) training

訪方法的局限性：需要采集同一場景噪聲獨立的多個圖像，這個對于動態場景（戶外，或者自拍）比較困難。

因此，本工作的 motivation 就來了，構建更通用的Noise2Noise，有兩個假設：

假設一：Noise2Noise是對一個場景進行多個采樣用于訓練，能不能對相似的場景進行多個采樣進行訓練？這樣就可以降低數據采集的難度（independent noisy observation of similar scenes）
假設二：能不能每個場景使用一個含噪圖像就訓練整個網絡？（One noisy observation per scene）

3、Neighbor2Neighbor

對于假設一： Neighbor2Neighbor使用ground truth相似的圖片進行訓練（Noise2Noise使用同一張圖片的多個噪聲圖進行訓練）。論文中有一個推導，表明找到相似但不相同的含噪圖像 (y) 和 (z) 時，可以訓練降噪網絡。

對于假設二： 從含噪圖像 (y) 采樣出來的多個圖像，被稱為neighbors。作者構建了一個帶約束的優化問題，具體可以參考作者論文。

整體框架如下圖所示。對于含噪圖像，進行兩個采樣得到 (g_1(y)) 和 (g_2(y))。然后把用降噪網絡處理后的圖像 (f_ heta(g_1(y))) 與 (g_2(y)) 做一個 loss ，這部分就是 Pseudo Noise2Noise。同時，構建第二個 loss ，也就是正則項。

接下來還有一個問題，就是 (g_1) 和 (g_2) 要非常的相似，如何構造這個非常相似的采樣呢 ？論文中有一個圖示，把圖像拆分為好多 (k imes k) 的 cell （下圖中 (k=2)）。在每個 cell 中隨機選兩個像素，一個歸(g_1)，另一個歸 (g_2)，這樣就可以構建兩個采樣的子圖。

4、實驗結果

第一個實驗是在合成的 RGB 數據集（加高斯噪聲）上進行測試，可以看到比 noisy-clean 和 noise2noise 大約低 0.3db。性能比其它自監督的方法性能要明顯好，同時，和英偉達 Laine19這個方法相比，性能是差不多的。

第二個實驗是真實專景RAW圖像的降噪（SIDD數據集）。與N2C相比，PSNR值低 0.1db。但是性能比其它自監督的方法要好。同時，如果使用更好的網絡（RRG），性能會得到明顯提升。

接下來的實驗是 Ablation study，首先分析了正則項(gamma) 的作用。當(gamma)值 增大時，越來越多的細節保留越多，隨之噪聲也增多。

總結

以上是生活随笔為你收集整理的【CVPR2021】Neighbor2Neighbor 解读的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。