?????? 圖像超分辨重建是一種提升圖像分辨率的圖像處理技術，而超分辨問題是一個難解的欠定問題，通常情況下，低分辨率圖像被視為高分辨率圖像經過模糊、下采樣和噪聲干擾后所得到的退化圖像。從單一低分辨率圖像恢復重構出高分辨率圖像，是一個難解的欠定問題，研究人員需要利用先驗信息去約束解空間，如早期的稀疏先驗以及近幾年利用深度學習直接從大量訓練數據中學習到的圖像先驗信息。2020年之前超分辨的發展軌跡見文章【1】【2】。

本文將結合參考文獻和自己的一些實踐談談超分辨率技術的發展：

?? ??目前主流方法基本都是基于深度學習的超分算法了，從基于早期卷積神經網絡（CNN）的方法（例如SRCNN）到最近使用生成對抗網絡（GAN）的有前途的SR方法，各種各樣的深度學習方法已應用于解決SR任務（例如SRGAN）。 通常，使用深度學習技術的SR算法族在以下主要方面彼此不同：不同類型的網絡體系結構，不同類型的損失函數，不同類型的學習原理和策略等。

1 網絡模型結構設計：從2014年SRCNN到EDSR以及RCAN（Residual channel attention networks）和ESRGAN（Enhanced SRGAN），人們將其他領域的殘差，稠密連接，遞歸連接，注意力機制，生成對抗網絡等策略應用到超分任務上。通用的網絡結構設計適用于多種任務。其中針對超分上采樣這一獨有的操作，SRCNN則是直接在進模型前進行上采樣，后來考慮到速度問題，開始 采用反卷積或者depth2space的方式進行上采樣。考慮到實用性，網絡設計的復雜度往往受到約束。

2 損失函數設計：像素級loss（L1/L2），結構損失loss，感知loss，紋理loss，對抗loss，CycleGAN的循環一致性損失等，單獨使用某一個loss，效果一般不好，例如單獨使用像素loss，最終因為解空間較大，結果趨近平均，導致結果偏模糊。，在實踐中，研究人員通常通過加權平均值組合多個損失函數，以約束生成過程的各個方面，尤其是在失真感知權衡方面。但是，不同損失函數的權重需要大量的經驗探索，如何合理有效地結合仍然是一個問題，例如感知loss，加的不好就是bug，加的好可能在某些圖上可以看到效果的提升。其中GAN訓練往往不穩定且訓練困難，所以結合了對抗損失的超分辨模型有時會產生人工痕跡和不自然的變形。如何更好地將GAN應用于圖像超分辨率重建領域仍值得深入研究。

??????? 其實可以將損失函數看著對模型輸出的先驗，根據具體的問題給與更多的外部先驗，更好的約束解空間，將更有利于最終的模型效果。如人臉超分，視頻超分具體的超分子任務。

3 探索更加真實的超分之路

???? 低分辨率圖像被視為高分辨率圖像經過模糊、下采樣和噪聲干擾后所得到的退化圖像。深度學習有一個重要的前提假設是測試圖像的分布與訓練數據的分布一致，當訓練過程中采用的模糊核和測試時的模糊核不一致時，重建結果往往會產生明顯的退化。因此構建符合真實超分訓練集一直是我們追求的目標。

??

3.1 復雜的退化模型假設：

真實的超分訓練數據不是簡單的通過雙三次插值可以模擬得到，因此人們通過復雜化退化，即考慮多種退化方式，包含不同的模糊核和不同的噪聲水平來對模型進行退化（MDSR，張磊系列），但是其實這里還是假設模糊核已知，測試的時候需要先知道對應的模糊核和噪聲級別，這方面的工作其一直在更新，如最新的ECCV2020的Deep Unfolding Network for Image Super-Resolution。這方面我覺得需要模擬足夠多的退化，同時也要求訓練的網絡足夠強大。

另外就是盲超分網絡，大家根本不知道模糊核。這時可以根據數據分為三種：

有配對的HR和LR：例如視頻傳輸問題或者微信朋友圈圖像壓縮問題。將HR退化到LR，經過傳輸后，再將LR恢復到HR。這種經過不知道具體的退化過程，但是因為可以拿到配對的HR和LR，依靠強大的CNN應該可以解決，100%不行，80%加油。

不匹配的HR和LR：一批圖像里面，有的是高質量圖像，有的低質量圖像(至于哪些是高清，哪些是退化，這是一個相對問題)，這方面主要依靠生成對抗網絡來進行，如DSGAN，計算模型的輸出SR與HR的判別loss，因為不是匹配的，無法計算像素loss，最近人們將CycleGAN思想應用于超分。

?? ? 3)? 只有LR圖像：假設沒有高清圖像，則直接基于模糊核估計，基于特定的任務，可以對模糊核進行限制，減少模糊核的估計空間，例如有的任務可以直接假設為高斯模糊核等，其中KernelGAN則借助GAN直接對任意圖像進行模糊核估計。構建模糊核池，并從中隨機提取模糊核，從而構建高低分辨率訓練圖像對，完成盲超分辨模型的訓練。因此模糊核的豐富性受到本身被估計的圖像多樣性限制。

?? 3.2? 真實場景退化場景

?? ??????2019年CVPR一下出來好幾篇關于真實超分的文章，CamerSR等直接從真實的相機鏡頭成像的角度出發，構建分辨率和視場之間的關系，并簡稱之為R?V退化模型 ，以及考慮從RAW層面考慮超分，但是任重而道遠，數據采集比較困難，尤其設計到LR與HR之間的對齊問題，另外訓練的網絡模型設計，是否足夠強大conver住真實復雜的退化。

??? 3.3? 歪門邪道（大佬們在開創未來）：嘗試通過GAN進行紋理遷移：Image Super-Resolution by Neural Texture Transfer CVPR_2019，基于深度先驗進行圖像超分：Exploiting Deep Generative Prior forVersatile Image Restoration and Manipulation_ECCV2020 (Oral)。

個人感悟：網絡結構設計和loss設計這方面工作應該不是超分的任務的核心問題，更多是個虎添翼的作用，對于參加超分比賽還是可以的，但是想實現本質提升，還是得從數據角度考慮，對于low-level的問題，核心問題還是在于如何獲得更加真實的超分訓練集即對退化模型準確的假設。1：MDSR通過自己構建不同的模糊核+噪聲構建訓練集；2：基于高斯模糊核假設，然后求解高斯核參數；3：KernelGAN直接基于GAN和自然圖像構建任意模糊和池；4：將CycleGAN思想應用于超分，都是大家在退化道路上的探索。毫無疑問更具適用性的盲超分辨重建算法需要進一步研究。

另外就是真實場景下獲取的超分辨數據集，如City100，相比于傳統人工構造的數據集，利用面向真實數據集的超分辨率模型，將更加適用于真實的應用場景，因此值得研究者在未來深入探索。本人做個幾個月的實驗，發現訓練還是比較困難。

實踐中，大家會根據不同的任務需求去簡化退化模型，從而使其落地。

推薦：,

Deep Unfolding Network for Image Super-Resolution（CVPR2020）

Unpaired Image Super-Resolution using Pseudo-Supervision（CVPR2020）

Real-World Super-Resolution via Kernel Estimation and Noise Injection(CVPRW2020)

[1] 史振威,雷森.圖像超分辨重建算法綜述[J].數據采集與處理,2020,35(01):1-20.

[2] Wang Z , Chen J , Hoi S C H . Deep Learning for Image Super-resolution: A Survey[J]. 2019.

總結

以上是生活随笔為你收集整理的2020 超分辨率技术发展趋势的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。