目錄

大賽概況

1.數(shù)據(jù)預(yù)處理

2.模型初選

3.訓(xùn)練 ->確定兩個模型

4.訓(xùn)練,修改網(wǎng)絡(luò)，繼續(xù)優(yōu)化

---

大賽概況

大賽地址：https://tianchi.aliyun.com/competition/entrance/231711/introduction?spm=5176.12281949.1003.2.37422448y3C5Xj

視頻增強(qiáng)和超分是計算機(jī)視覺領(lǐng)域的核心算法之一，目的是恢復(fù)降質(zhì)視頻本身的內(nèi)容，提高視頻的清晰度。該技術(shù)在工業(yè)界有著重要的實(shí)用意義，對于早期膠片視頻的質(zhì)量和清晰度的提升有著重大的意義。

此外，復(fù)賽審核通過的排名前10隊(duì)伍，可進(jìn)入阿里（優(yōu)酷）校招綠色通道。

數(shù)據(jù)地址：https://tianchi.aliyun.com/competition/entrance/231711/information

注明：研究生期間做這方面的，現(xiàn)在打算做這個比賽；把我一路心得體會記錄下來，模型代碼也會同時公布，盡量每周更新，希望近復(fù)賽吧，一起加油

1.數(shù)據(jù)預(yù)處理

下載并安裝FFmpeg；

ffmpeg工具十分強(qiáng)大，抽幀，合成視頻的功能都具備

按照這篇博客操作：https://blog.csdn.net/chy466071353/article/details/54949221

說明下，我配置環(huán)境是win10+cuda9.0；

如果速度太慢的話,這里是百度網(wǎng)盤地址：

鏈接：https://pan.baidu.com/s/1UQcxSuqjGq8bLI3yCOwf9A?
提取碼：b9ma?

?

官方提供的預(yù)處理命令：

y4m 格式介紹：https://wiki.multimedia.cx/index.php/YUV4MPEG2 y4m 與 yuv（yuv420 8bit planar） 互轉(zhuǎn)命令：y4mtoyuv: ffmpeg -i xx.y4m -vsync 0 xx.yuv -yyuvtoy4m: ffmpeg -s 1920x1080 -i xx.yuv -vsync 0 xx.y4m -y y4m 與 png 互轉(zhuǎn)命令：y4mtobmp: ffmpeg -i xx.y4m -vsync 0 xx%3d.bmp -ybmptoy4m: ffmpeg -i xx%3d.bmp -pix_fmt yuv420p -vsync 0 xx.y4m -y y4m 每25幀抽樣命令：ffmpeg -i xxx.y4m -vf select='not(mod(n\,25))' -vsync 0 -y xxx_sub25.y4m

?

一條條處理太麻煩了：自己寫一些函數(shù)處理省事。

?我的初步想法是將y4m轉(zhuǎn)成.bmp圖片,然后單張圖片超分辨率，最后合成y4m視頻。這個過程是存在問題的：

y4m轉(zhuǎn)bmp? ? ? bmp轉(zhuǎn)y4m? ? ：? y4m和轉(zhuǎn)回來的y4m之間的psnr是44左右，理論上是inf（無限大的），所以這個轉(zhuǎn)換過程存在精度損失。但是這個流程簡單，我才用這種方式獲得圖片，現(xiàn)在的分值在39.38,40+的大神應(yīng)該已經(jīng)有更優(yōu)秀的方式吧；怎樣無損獲得圖像這個問題值得思考。

?2.模型初選

推薦一些單張圖片超分辨率比較好的論文，并附帶代碼：

DBNP：https://github.com/alterzero/DBPN-Pytorch；有代碼，有模型，eccv?workshop冠軍，這個網(wǎng)絡(luò)效果的確無敵，奈何電腦渣渣，跑不了。

超分總結(jié)：https://github.com/YapengTian/Single-Image-Super-Resolution；這是一位大神總結(jié)的，可以好好看看

今天用RDN：https://github.com/MingtaoGuo/Residual-Dense-Network-Trained-with-cGAN-for-Super-Resolution

上面的代碼修改的，跑出了自己的模型：psnr32.7有點(diǎn)偏低。

這是我的代碼，里面也有模型：https://github.com/958099161/Super_resolution

下面就是單張圖片的效果：

小圖：

超分結(jié)果：

?

看下面的字體就知道，效果不太好了，流程走通了，下面就慢慢優(yōu)化了

總結(jié)的一些超分辨率小技巧：

1、圖像超分辨率領(lǐng)域上采樣常采用的方式是亞像素卷積https://blog.csdn.net/CHNguoshiwushuang/article/details/81155361

2、很多論文將gan應(yīng)用在圖像超分辨方面，但是都給出結(jié)論，gan只能在感官效果上對圖像有提升，但客觀指標(biāo)psnr卻沒有提升。

3、空洞卷積沒有在圖像超分辨率得到廣泛應(yīng)用，主要原因是圖像超分辨率上采樣的過程中只是和周圍的像素點(diǎn)有關(guān)系，空洞卷積的目的是擴(kuò)大感受野，所以空洞卷積對圖像超分辨率也沒有提升。

3.訓(xùn)練 確定兩個效果比較好的網(wǎng)絡(luò)

還沒有用19年論文，目前采用18年提出的一些網(wǎng)絡(luò)結(jié)構(gòu)，覺得RDN，DBNP效果都不錯，顯卡多的大神都可以試試。一塊顯卡的同學(xué)，建議RDN吧。層數(shù)越深效果越好，當(dāng)然建立在收斂好的前提下，所以感覺這個比賽最后很考驗(yàn)硬件。感覺40是個坎

目前就是這個成績了，渣渣電腦，跑程序的時候電腦特別卡，15000張圖一個epoch，一晚上跑10個epoch吧，進(jìn)復(fù)賽就行，后續(xù)再優(yōu)化吧。

?

4.訓(xùn)練,修改網(wǎng)絡(luò)，繼續(xù)優(yōu)化

?

總結(jié)

以上是生活随笔為你收集整理的阿里巴巴优酷视频增强和超分辨率挑战赛-持续更新的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。