Abstract

CNN在傳統(tǒng)的單幀超分辨率重建上取得了非常好的效果，可以取得較高的峰值信噪比(PSNR)。他們大都以MSE為最小化的目標(biāo)函數(shù)，這樣雖然可以取得較高的峰值信噪比，但是當(dāng)圖像下采樣倍數(shù)較高時，重建的得到的圖片會過于平滑，丟失細節(jié)。本文提出了利用GAN來進行超分辨率重建的方法，該網(wǎng)絡(luò)是第一個能恢復(fù)4倍下采樣圖像的框架。作者提出的損失函數(shù)有兩部分組成：對抗損失，內(nèi)容損失。

對抗損失將圖像映射到高位流形空間，并用判別網(wǎng)絡(luò)去判別重建后的圖像和原始圖像。而內(nèi)容損失則是基于感覺相似性(perceptual similarity)而非像素相似性(pixel similarity)。

Intruction

所謂超分辨率重建就是將低分辨率圖像恢復(fù)成對應(yīng)的高分辨率圖像。但是由于低分辨率圖像信息的缺失，這是一個病態(tài)的求逆問題，尤其是在恢復(fù)的倍數(shù)較高的時候。傳統(tǒng)的方法考慮加入一些先驗信息以恢復(fù)高分辨率圖像(如插值法)，此外，還有基于回歸方法的隨記森林也可以用于超分問題。稀疏學(xué)習(xí)，CNN在超分上也取得了非常好的效果，特別是CNN，使得超分已經(jīng)可以達到實時應(yīng)用。

Method

作者提出的網(wǎng)絡(luò)結(jié)構(gòu)如下：

網(wǎng)絡(luò)結(jié)構(gòu)

生成網(wǎng)絡(luò)由殘差結(jié)構(gòu)組成，并結(jié)合BN，生成的圖像丟到判別網(wǎng)絡(luò)中，交給判別器判斷是生成的高分辨率圖像還是真正的高分辨率圖像。

作者主要的創(chuàng)新點在于代價函數(shù)的設(shè)計，尤其是將逐像素損失替換為內(nèi)容損失。作者提出的損失函數(shù)由以下三部分加權(quán)組成：

Content Loss

內(nèi)容損失函數(shù)

這一項說白了就是對某一層的特征圖的逐像素損失作為內(nèi)容損失(而不是最后輸出結(jié)果的逐像素損失)。這樣可以學(xué)得圖像所在的流形空間。(這句話我也沒太懂是什么意思！個人理解，大概就是可以學(xué)得一些高層的語義特征，結(jié)構(gòu)信息)

Adversarial Loss

對抗損失項

作者用的對抗損失項用：

負對數(shù)求和替換原來的代價函數(shù)，這樣有利于訓(xùn)練。(作者給的參考文獻提到了原因，有興趣可以看看)。

Regularization Loss

作者利用基于全變差的正則項以鼓勵產(chǎn)生具有空間相似性的結(jié)果。具體公式如下：

正則損失

Experiments

作者用sub-pixel網(wǎng)絡(luò)作為生成網(wǎng)絡(luò)，用VGG作為判別網(wǎng)絡(luò)構(gòu)建GAN得到了非常好的結(jié)果，但是這個用的是逐像素差作為損失函數(shù)。

之后，作者嘗試了自己提出的感知損失函數(shù)作為優(yōu)化目標(biāo)，雖然PSNR和SSIM不高，但是視覺效果都要優(yōu)于其他網(wǎng)絡(luò)，避免了其他方法的過度平滑的特性。

Conclusion

作者本文的貢獻主要有兩點：

提出的SRResNet取得了state-of-art的結(jié)果

將感知損失引入GAN，實現(xiàn)了4倍超分辨率重建

總結(jié)

以上是生活随笔為你收集整理的srgan要训练多久_SRGAN阅读笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。