CartoonGAN前言

? ? ? 本文是對(duì)CVPR2018的一篇關(guān)于圖像風(fēng)格遷移的論文解讀，即CartoonGAN，它可以用真實(shí)景物的照片作為源圖片，生成任意風(fēng)格的漫畫，如新海誠(chéng)或者宮崎駿。有人說這不就是Photoshop的濾鏡而已嘛，當(dāng)然Photoshop也可以做到，但是只給你一分鐘來產(chǎn)生上百張效果圖，Photoshop能否做到？我自己也在復(fù)現(xiàn)，但發(fā)現(xiàn)真的很難調(diào)出效果好的模型，自己的實(shí)驗(yàn)還得繼續(xù)。

作者調(diào)出的模型效果是非常不錯(cuò)的了，效果圖如下：真實(shí)景物——新海誠(chéng)風(fēng)格——宮崎駿風(fēng)格

論文鏈接：

http://203.187.160.133:9011/openaccess.thecvf.com/c3pr90ntc0td/content_cvpr_2018/papers/Chen_CartoonGAN_Generative_Adversarial_CVPR_2018_paper.pdf

作者未開源代碼，只給出了四個(gè)訓(xùn)練好的模型（宮崎駿、細(xì)田守、今敏和新海誠(chéng)風(fēng)格），作者用torch進(jìn)行實(shí)驗(yàn)，模型下載鏈接：

http://cg.cs.tsinghua.edu.cn/people/~Yongjin/CartoonGAN-Models.rar

于是Github有人寫了test代碼用以上四個(gè)模型來前向測(cè)試圖像，以下用Pytorch寫的test代碼還不錯(cuò)：

https://github.com/Yijunmaverick/CartoonGAN-Test-Pytorch-Torch

大家可以自己看論文，下載模型，找一些真實(shí)場(chǎng)景圖試試速度和效果。

CartoonGAN理論解讀

CartoonGAN其實(shí)就是一個(gè)用于非成對(duì)image訓(xùn)練的GAN，可以說是單向的CycleGAN罷了，創(chuàng)新點(diǎn)就三點(diǎn)：

1、作者自己設(shè)計(jì)的GAN網(wǎng)絡(luò)架構(gòu)，包括生成網(wǎng)絡(luò)G和判別網(wǎng)絡(luò)D，都比較直觀基礎(chǔ)，如下圖：

2、提出了損失函數(shù)L(G,D)，由兩部分組成，第一部分Ladv(G,D)為普通的GAN損失，第二部分Lcon(G,D)為保證原真實(shí)圖像內(nèi)容的內(nèi)容損失：

? ? ? ?可以看到Ladv(G,D)比普通GAN損失多加了一個(gè)Eej～Sdata(e)[log(1 - D(ej))]，也就多了一個(gè)數(shù)據(jù)集ej，那這個(gè)數(shù)據(jù)集怎么來的，它是通過對(duì)原始卡通圖像進(jìn)行邊緣模糊后得到的，目的是為了讓生成網(wǎng)絡(luò)G生成邊緣清晰的圖片，所以D(ej)判別為假數(shù)據(jù)。而Lcon(G,D)就是Neural Style里面的內(nèi)容損失，只不過把L2損失改為L(zhǎng)1損失，在這里我們可以看成是一個(gè)正則化。

3、引入一個(gè)初始化過程，先用Lcon(G,D)單獨(dú)一個(gè)損失來訓(xùn)練G，大概訓(xùn)練10個(gè)epoch，目的是為了生成的圖片初始后就能保證原真實(shí)場(chǎng)景的內(nèi)容，畢竟普通的單向GAN要是沒有加入一些限制很難穩(wěn)定保證原始圖片的內(nèi)容，大多會(huì)出現(xiàn)扭曲或更嚴(yán)重的情況，而類似的，在CycleGAN中體現(xiàn)為用cycle_loss來保證原始圖片內(nèi)容。

CartoonGAN實(shí)驗(yàn)

? ? ? ?想跑一跑CartoonGAN的test效果，直接用作者所給的四個(gè)模型就好了，假如還想自己訓(xùn)練其他風(fēng)格的模型，或者加點(diǎn)別的效果，那就得自己寫代碼實(shí)現(xiàn)論文以上三個(gè)創(chuàng)新點(diǎn)了，難度不大，用Tensorflow/Pytorch實(shí)現(xiàn)很快，只不過要自己挑好訓(xùn)練集、訓(xùn)練集數(shù)量要足夠多，質(zhì)量也要好，其次各種調(diào)參也是非常重要的，訓(xùn)練時(shí)間也很長(zhǎng)啦~~

最后，歡迎大家討論交流哈哈~

總結(jié)

以上是生活随笔為你收集整理的CVPR2018 CartoonGAN 解读的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。