图像超分辨率近两年几篇优秀论文及代码
最近看了很多圖像超分辨率方面的文章，所以做一個(gè)總結(jié)，希望對(duì)大家有所幫助。所列出的文章都是很好的文章，其中包括一些頂級(jí)會(huì)議：CVPR,ICCV,ECCV等。其中有代碼的我會(huì)給網(wǎng)址，還有的代碼不公布。最后會(huì)做一個(gè)經(jīng)驗(yàn)總結(jié)，還有關(guān)于深度學(xué)習(xí)框架的選擇，給新手一些建議。
? ? ? ?
?
SRCNN
Image Super-Resolution Using Deep Convolutional Networks
?
? ??? ? ?最早的使用深度學(xué)習(xí)做圖像超分辨率的文章，香港中文大學(xué)湯曉鷗團(tuán)隊(duì)的成果，其學(xué)生徐立是商湯科技的總裁。? ? ? ? ? ? ?代碼地址：http://mmlab.ie.cuhk.edu.hk/projects/SRCNN ???? ??? ?
?
?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
預(yù)處理：Bicubic 先下采樣，后上采樣作為輸入圖像
圖像空間：Ycbcr
訓(xùn)練樣本：91images(24800sub-images)+imagenet(5 million sub-images)
Scalingfactor:2,3,4
學(xué)習(xí)率： 前兩層，最后一層
參數(shù)初始化方法：高斯分布（均值為0，標(biāo)準(zhǔn)差為0.001，偏置為0）
誤差減小方式：隨機(jī)梯度下降 ???????????????????????????????????
?
VDSR
Accurate Image Super-Resolution Using Very Deep Convolutional Networks
? ? ? ? 用殘差將網(wǎng)絡(luò)做的很深，在當(dāng)時(shí)首先將殘差應(yīng)用到超分辨率領(lǐng)域，比較具有創(chuàng)新性，效果也較好。但是視覺效果并不是很少，細(xì)節(jié)恢復(fù)較差。
代碼地址：https://cv.snu.ac.kr/research/VDSR/
?
除了輸入和輸出都是3*3*64的濾波器
預(yù)處理：bicubic先下采樣，后上采樣作為輸入圖像
圖像空間：Ycbcr
訓(xùn)練樣本：291images,data augmentation(rotation or flip),多尺度的（2,3,4）
Scalingfactor:適用于多個(gè)scale factor,訓(xùn)練時(shí)同時(shí)用的2,3,4，測(cè)試2,3,4中任意一個(gè)都可以。
技巧：0填充保持輸出圖像大小不變。
是否殘差：殘差
學(xué)習(xí)率：0.1(20代)，每20代下降10倍
參數(shù)初始化方法：Delving deep into rectifiers: Surpassing human-level performance onimagenet classification中提到的初始化方式，適用于Relu.
誤差減小方式：adjustable gradient clipping
其他參數(shù)：batch size:64,momentum:0.9,weight decay:0.0001
LapSRN
Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution
?
使用拉普拉斯金字塔結(jié)構(gòu)，各方面效果超過VDSR。
代碼地址：http://vllab.ucmerced.edu/wlai24/LapSRN/
?
卷積層：每一個(gè)level 3,5,10,15
預(yù)處理：bicubic下采樣
圖像空間：
訓(xùn)練樣本：91+291
Scalingfactor:適用于2,4,8
技巧：0填充,解卷積層/轉(zhuǎn)置卷積
是否殘差：殘差
激勵(lì)函數(shù)：(LReLUs)leaky rectified linear units
學(xué)習(xí)率： ，每50代下降100倍
參數(shù)初始化方法：Delving deep into rectifiers: Surpassing human-level performance onimagenet classification中提到的初始化方式，適用于Relu.
解卷積層的參數(shù)用bilinear filter 初始化
誤差減小方式：charbonnier penalty function
其他參數(shù)：batch size:64 momentun:0.9 weight decay:0.0001
?
FSRCNN
Accelerating the Super-Resolution Convolutional Neural Network
SRCNN之后出的一篇，一個(gè)作者做的，效果比SRCNN好，比VDSR差，但run time 是其一大優(yōu)勢(shì)。
代碼地址：http://mmlab.ie.cuhk.edu.hk/projects/FSRCNN.html
預(yù)處理：bicubic上采樣
圖像空間：Ycbcr
訓(xùn)練樣本：91+100
Scalingfactor:每一個(gè)scale，單獨(dú)訓(xùn)練模型
技巧： 0填充，高分辨率率和低分辨率圖像塊的大小,解卷積
是否殘差：非殘差
激勵(lì)函數(shù)：Parametric Rectified Linear Unit(PReLU)
學(xué)習(xí)率： 卷積層0.001，解卷積層0.0001，fine-tuning時(shí)，所有的學(xué)習(xí)率變?yōu)橐话?/p>
參數(shù)初始化方法：0均值，方差為0.001的高斯分布隨機(jī)
誤差減小方式：最小均方誤差
其他參數(shù)：
?
?
還有的一些優(yōu)秀的文章有：?
?
- Deeply-Recursive Convolutional Network for Image Super-Resolution (CVPR2016), Jiwon Kim et al.
- Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network (CVPR2016), Wenzhe Shi et al.
- Enhanced Deep Residual Networks for Single Image Super-Resolution (Winner of NTIRE2017 Super-Resolution Challenge), Bee Lim et al.（目前用卷積神經(jīng)網(wǎng)絡(luò)做的最好的一篇了）
目前比較火的GAN的方法：
- Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network (CVPR2017), Christian Ledig et al.
- AMORTISED MAP INFERENCE FOR IMAGE SUPER-RESOLUTION (ICLR2017), Casper Kaae S?nderby et al.
?
個(gè)人感悟：超分辨率如果用一般指標(biāo)如PSNR和SSIM來衡量并不能完全代表視覺上的效果。PSNR用二范數(shù)去約束就會(huì)得到很高的值，SSIM用注重細(xì)節(jié)的恢復(fù)也可以達(dá)到很高的值。如果想用CNN做可以參考Enhanced Deep Residual Networks for Single Image Super-Resolution (Winner of NTIRE2017 Super-Resolution Challenge), Bee Lim et al.
GAN給了一種很好的思路，可以恢復(fù)出很好的視覺效果。但GAN的方法目前幾乎沒有公布代碼的，如果想做只能自己寫代碼了。
?
框架選擇：對(duì)新手來說，caffe是一種很好上手的框架，但是里面的loss function除非修改源碼，不然默認(rèn)就是二范數(shù)。tensorflow 是一個(gè)萬金油的框架，除了計(jì)算機(jī)視覺還適合處理其他領(lǐng)域的問題，而且受眾廣，社區(qū)大。torch也是一種很方便的框架，會(huì)python的人用pytorch會(huì)很順手。其他一些框架沒用過，也沒用經(jīng)驗(yàn)，就不多介紹。
與50位技術(shù)專家面對(duì)面20年技術(shù)見證，附贈(zèng)技術(shù)全景圖總結(jié)
以上是生活随笔為你收集整理的图像超分辨率近两年几篇优秀论文及代码的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 深度学习在图像超分辨率重建中的应用
- 下一篇： l1范数最小化快速算法【文献阅读】