Structure-Preserving Super Resolution with Gradient Guidance

• 摘要
• • 1. 引言
  • 2. 相關工作
  • 3. 方法
  • • 3.1. 概述
    • 3.2.架構細節
    • • 3.2.1 梯度分支
      • 3.2.2 保留結構的SR分支
    • 3.3 Object function
    • • 傳統的損失：
      • 感知損失
      • 梯度損失
  • 4. 實驗
  • • 4.1. 實施細節和評估指標
    • • 訓練細節

摘要

在單一圖像超級分辨率（SISR）中，結構很重要，本文提出了一種保護結構的超分辨率的方法，同時保持基于GAN的方法的優點，以產生感觀上令人愉快的細節。具體來說，本文利用圖像的梯度圖，從兩個方面指導恢復工作。一方面，通過一個梯度分支來恢復高分辨率的梯度圖，為SR過程提供額外的結構參數。另一方面，提出了一種梯度損失，對超分辨率圖像施加了二階限制。與之前的圖像空間損失函數一樣，梯度空間目標有助于生成網絡更加集中在幾何結構上。實驗結果表明，與最先進的感知驅動的SR方法相比，取得了最佳的PI和LPIPS性能，同時，PSNR和SSIM也相當不錯。視覺結果表明在恢復結構的同時生成自然的SR圖像方面具有優勢。

1. 引言

雖然基于GAN的方法可以產生高保真的SR結果，但總是有幾何失真，以及尖銳的邊緣和精細的紋理。RCAN[51]為磚塊恢復了模糊但筆直的邊緣，而由感知驅動的方法恢復的邊緣更清晰但扭曲。本文提出了一種保留結構的超分辨率方法來緩解上述問題。

梯度圖揭示了圖像中每個局部區域的清晰度，可以利用這一強大的工具來指導圖像恢復。

一方面，本文設計了一個梯度分支，將LR圖像的梯度圖轉換為HR的梯度圖，作為一個輔助的SR問題。恢復的梯度可以被整合到SR分支中，為SR提供結構先驗。此外，梯度可以強調應該更加關注銳度和結構的區域，從而明確地指導高質量的生成。這個想法的動機是，一旦邊緣被高保真地恢復，SR任務就可以被視為一個顏色填充問題，由LR圖像提供強有力的線索。

另一方面，本文提出了一個梯度損失來明確地監督恢復圖像的梯度圖。與現有方法中的圖像空間損失函數一起，梯度損失限制了相鄰像素的二階關系。因此，在這種指導下，結構配置可以得到更好的保留，并且可以得到具有高感知質量和較少幾何變形的SR結果。

此外，本文的方法與模型無關，有可能用于現成的SR網絡。

2. 相關工作

SISR方法可以分為兩類。面向PSNR的方法和感知驅動的方法。以PSNR為導向的方法，側重于實現高PSNR，因此使用MSE損失或L1損失作為損失函數。然而，這些方法通常會產生模糊的圖像。感知損失的方法可以提高恢復圖像的視覺質量。盡管感知驅動方法確實提高了超分辨率圖像的整體視覺質量，但在恢復細節時，它們有時會產生不自然的偽影，包括幾何變形。

Zhu等人[53]（Modeling deformable gradient compositions for single-image super-resolution. CVPR 2015.）提出了一種基于梯度的SR方法，通過收集梯度模式的字典并對可變形的梯度組合進行建模。Yang等人[48]（Deep edge guided recurrent residual learning for image super-resolution.TIP 2017）提出了一個遞歸殘差網絡，在由現成的邊緣檢測器提取的邊緣引導下重建細部。雖然邊緣重建和梯度場約束在一些方法中得到了利用，但它們的目的主要是為PSNR導向的SR方法恢復高頻成分。與這些方法不同，本文的目的是減少基于GAN的方法產生的幾何失真，并利用梯度圖作為SR的結構指導。對于深度對抗網絡，梯度空間約束可以為更好的圖像重建提供額外的監督。

3. 方法

本節中首先介紹整體框架。然后，我們將相應地介紹梯度分支、周到的賦值模塊和最終目標函數的細節。

圖2. 我們的SPSR方法的總體框架。我們的架構由兩個分支組成，即SR分支和梯度分支。梯度分支旨在將LR梯度圖超分辨率為HR對應的梯度圖。它結合了來自SR分支的多級表征，以減少參數，并輸出梯度信息，依次指導融合塊的SR過程。最終的SR輸出不僅通過傳統的圖像空間損失進行優化，而且還通過提議的梯度空間目標進行優化。

3.1. 概述

在SISR中，我們的目標是將LR圖像I LR作為輸入，并生成SR圖像I SR，給定其HR對應的I HR作為ground-truth。我們把生成器表示為G，把它的參數表示為θG，然后我們有I SR = G(I LR; θG)。I SR應該盡可能地與I HR相似。如果通過損失函數L來優化參數，我們有以下公式：

整體框架如圖2所示。生成器由兩個分支組成，其中一個是結構保全的SR分支，另一個是梯度分支。SR分支將I LR作為輸入，旨在通過梯度分支的SR梯度圖提供的指導，重新覆蓋SR輸出I SR。

3.2.架構細節

3.2.1 梯度分支

梯度分支的目標是估計梯度圖從LR模式到HR模式的轉換。一個圖像I的梯度圖是通過計算相鄰像素之間的差值得到的。

其中M(-)代表提取梯度圖的操作，其元素為共點x = (x, y) 的像素梯度長度。

獲取梯度的操作可以通過一個固定核的卷積層輕松實現。事實上，在形成過程中不考慮梯度方向，因為梯度強度足以揭示恢復圖像中局部區域的清晰度。因此，采用強度圖作為梯度圖。這種梯度圖可以被看作是另一種圖像，因此可以利用圖像到圖像的轉換技術來學習兩種模式之間的映射。轉換過程相當于從LR邊緣銳度到HR邊緣銳度的空間分布轉換。由于梯度圖的大部分區域接近于零，卷積神經網絡可以更加集中于輪廓的空間關系。因此，該網絡可能更容易捕捉到結構的依賴性，從而為SR圖像產生近似的梯度圖。

如圖2所示，梯度分支包含了來自SR分支的幾個中間層次的表示。這種方案的動機是，設計良好的SR分支能夠攜帶豐富的結構形成，這對梯度圖的恢復至關重要。因此，我們利用這些特征作為強大的先驗來促進梯度分支的性能，在這種情況下，其參數可以大大減少。在每兩個中間特征之間，有一個梯度塊，它可以是任何基本塊，以提取更高級別的特征。

一旦我們通過梯度分支得到了SR梯度圖，我們就可以將得到的梯度特征整合到SR分支中，依次指導SR重建。梯度圖的大小可以隱含地反映一個恢復的區域應該是尖銳的還是平滑的。在實踐中，我們將梯度分支的倒數第二層所產生的特征圖送入SR分支。同時，我們以這些特征圖為輸入，通過1×1的卷積層生成輸出的梯度圖。

3.2.2 保留結構的SR分支

我們設計了一個保留結構的SR分支來獲得最終的SR輸出。這個分支由兩部分組成。第一部分是一個常規的SR網絡，由多個生成性神經塊組成，可以是任何結構。這里我們介紹ESRGAN[42]中提出的Residual in Residual Dense Block（RRDB）。原始模型中有23個RRDB塊。因此，我們將第5、10、15、20個塊的特征圖納入到梯度分支。由于常規的SR模型產生的圖像只有3個通道，我們去掉了最后一個卷積重構層，并將輸出的特征輸入到結果部分。SR分支的第二部分連接上文提到的從梯度分支得到的SR梯度特征圖。我們通過一個融合塊來融合結構信息，將兩個分支的特征融合到一起。具體來說，我們將這兩個特征連接起來，然后使用另一個RRDB塊和卷積層來重建最終的SR特征。值得注意的是，我們只在SR分支中增加了一個RRDB塊。因此，與具有23個塊的原始模型相比，參數的增量很小。

3.3 Object function

傳統的損失：

大多數SR方法通過普通的像素損失來優化精心設計的網絡，這對于用PSNR衡量的超分辨率任務來說是有效的。這個指標可以減少恢復的圖像和地面實況之間的平均像素差異，但結果可能過于平滑，無法保持視覺效果的銳利邊緣。然而，這種損失仍然被廣泛用于加速收斂和提高SR性能。

感知損失

在[20]中被提出，以提高恢復圖像的感知質量。包含語義信息的特征由預先訓練好的VGG網絡工作來提取[36]。在感知損失中，HR圖像的特征和SR圖像的特征之間的歐幾里得距離最小。

其中φi(.)表示VGG模型的第i層輸出。基于生成對抗網（GANs）[3, 4, 15, 16, 21, 33]的方法[27, 42]在SR問題上也發揮了重要作用。鑒別器DI和生成器G由一個雙人游戲優化如下。

按照[21, 42]，我們進行相對論平均GAN（RaGAN），以在實踐中實現更好的優化。由上述目標函數監督的模式僅僅考慮了圖像空間的約束，但忽略了由梯度空間提供的語義結構信息。雖然生成的結果看起來很逼真，但也有一些不希望出現的幾何變形。因此，我們引入梯度損失來緩解這個問題。

梯度損失

我們的動機可以通過圖3清楚地說明。這里我們只考慮一個簡單的一維情況。如果模型只是通過L1損失在圖像空間中進行優化，那么在給定一個輸入測試序列的情況下，我們通常會得到一個SR序列，如圖3(b)，其基礎事實是一個尖銳的邊緣，如圖3(a)。該模型不能恢復尖銳的邊緣，原因是該模型傾向于從訓練數據中給出可能的HR解決方案的統計平均值。在這種情況下，如果我們計算并顯示兩個序列的梯度大小，可以看到SR梯度是平的，數值很低，而HR梯度是一個尖峰，數值很高。它們彼此相距甚遠。這啟發我們，如果我們在優化目標中加入二階梯度約束，模型可能會從梯度空間中學習更多。它有助于模型關注相鄰的配置，從而可以更恰當地推斷出局部的銳度強度。因此，如果捕捉到圖3（f）那樣的梯度信息，恢復圖3（c）的概率會大大增加。SR方法可以從這種指導中受益，避免過度光滑或過度銳化的恢復。此外，在梯度空間中更容易提取幾何特征。因此，幾何結構也可以得到很好的保留，從而得到更逼真的SR圖像。這里我們提出了一種梯度損失來實現上述目標。由于我們已經提到梯度圖是反映圖像結構信息的理想工具，它也可以被用作二階約束來為生成器提供超維。我們通過消除從SR圖像中提取的梯度圖與從相應的HR圖像中提取的梯度圖之間的距離來制定梯度損失。有了圖像和梯度的監督，生成器不僅可以學習精細的外觀，還可以重視避免詳細的幾何偏差。因此，我們設計了兩個損失項來懲罰SR和HR圖像的梯度圖（GM）的差異。一個是基于像素的損失，如下所示。

另一個是分辨一個梯度斑塊是否來自HR梯度圖。我們設計另一個梯度判別網絡來實現這一目標：

梯度判別器還可以通過對抗性學習監督SR結果的生成。

請注意，操作M(-)中的每一步都是不同的。因此，帶有梯度損失的模型可以以端到端的方式進行訓練。此外，由于梯度損失的簡潔表述和強大的轉移能力，在任何生成模型中采用梯度損失作為額外的指導是很方便的。總體目標。總之，我們有兩個判別器DI和DGM，分別由L DisI SR和L DisGM SR優化。對于發生器，有兩個損失項被用來同時提供監督信號。一個是強加在結構保留的SR分支上，另一個是通過最小化梯度分支（GB）的像素損失L P ixGM GB來重建高質量的梯度圖。總體目標定義如下。

β I SR, γ I SR, β GM SR , γ GM SR 和 β GM GB 表示不同損失的折衷參數。其中，β I SR、β GM SR和β GM GB分別是SR圖像、SR圖像的重力圖和SR梯度圖的像素損失權重。γ I SR和γ GM SR是SR圖像和其梯度圖的對抗性損失的權重。

4. 實驗

4.1. 實施細節和評估指標

我們評估了我們提出的SPSR方法的SR性能。我們利用DIV2K[1]作為訓練數據集，并利用五個常用的基準進行測試。Set5 [5], Set14 [49], BSD100 [30], Urban100 [18] 和 General100 [9]。我們通過雙三次插值對HR圖像進行降樣以獲得LR輸入，并在實驗中只考慮4倍的縮放系數。我們選擇感知指數（PI）[6]、學習感知圖像補丁相似度（LPIPS）[50]、PSNR和結構相似度（SSIM）[43]作為評價指標。較低的PI和LPIPS值表示較高的感知質量。

訓練細節

我們使用ESR GAN[42]的架構作為我們SR分支的骨干，使用RRDB塊[42]作為梯度塊。我們從LR圖像中隨機抽出15個32×32的斑塊，用于每個輸入小批。因此，真實的HR斑塊的大小為128×128。我們用預先訓練好的面向PSNR的模型的參數來初始化發生器。像素損失、感知損失、對抗性損失和梯度損失被用作優化目標。一個預先訓練好的19層VGG網絡[36]被用來計算感知損失中的特征差異。我們也使用VGG風格的網絡來進行分辨。ADAM optimizor[26]的β1=0.9，β2=0.999，?=1×10-8被用于優化。我們將生成器和判別器的學習率設置為1×10-4，并在50k、100k、200k、300k的迭代中將其減少到一半。至于損失的權衡參數，我們遵循[42]中的設置，將β I SR和γ I SR相應設置為0.01和0.005。然后我們將梯度損失的權重設定為與圖像空間損失的權重相等。因此，β GM SR = 0.01，γ GM SR = 0.005。在β GM GB方面，我們將其設置為0.5，以獲得更好的梯度轉換性能。所有的實驗都由PyTorch[31]在NVIDIA GTX 1080Ti GPU上實現。

總結

以上是生活随笔為你收集整理的【图像超分辨率】(SPSR)Structure-Preserving SR with Gradient Guidance的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。