點擊上方“AI搞事情”關注我們

---

?

Paper：《Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks》
Home：https://junyanz.github.io/CycleGAN/
Blog：https://hardikbansal.github.io/CycleGANBlog/
GIT: https://github.com/junyanz/CycleGAN (官方pytorch)
https://github.com/vanhuyz/CycleGAN-TensorFlow (Tensorflow)

?

一篇比較老的文章（2017 ?ICCV），image to image translation模型，即從一副圖像到另一副圖像的轉換。在這之前基于GAN的Pix2Pix模型，需要提供成對圖像x和y，模型將噪聲z，依據(jù)條件x，生成和真實圖片y相近的。然而現(xiàn)實場景下成對的圖片數(shù)據(jù)往往不是都存在的，于是pix2pix團隊便提出了這篇Unpaired圖像轉換模型CycleGAN，只需要準備兩個存在某種聯(lián)系的數(shù)據(jù)域圖片集合，便可以進行兩個數(shù)據(jù)域的相互轉換。

網(wǎng)絡結構

兩個生成器網(wǎng)絡：G和F，生成器G用來基于X域的圖像生成Y域的圖像（斑馬->馬），生成器F用來基于Y域的圖像生成X域的圖像（馬->斑馬）；兩個鑒別器網(wǎng)絡：Dx和Dy，分別判斷輸入的X域或Y域圖像是真實圖像還是生成圖像。整個網(wǎng)絡看做是2個GAN的融合，是一個對偶結構。

損失函數(shù)

損失函數(shù)含兩部分：GAN的生成對抗損失、循環(huán)一致性損失。GAN損失優(yōu)化生成器與辨別器，使其達到納什均衡的狀態(tài)；循環(huán)一致性損失確保生成的圖像須保留有原始圖像的特性，原始圖像通過生成器GenratorA-B生成的假圖像，通過另外一個生成器GenratorB-A能盡可能恢復成原始圖像。

總損失函數(shù)：

對抗損失函數(shù)：循環(huán)一致性損失：
循環(huán)損失分為前向循環(huán)損失和后向循環(huán)損失，分別為：

實驗結果

圖像生成

風格遷移對比

失敗樣例

搞事情

卡通人臉

https://github.com/minivision-ai/photo2cartoon

「配置環(huán)境」：

• python 3.6

• pytorch 1.4

• tensorflow-gpu 1.14

• face-alignment

• dlib

「克隆項目」

git clone https://github.com/minivision-ai/photo2cartoon.git cd ./photo2cartoon

「下載模型」
git主頁有百度網(wǎng)盤地址

「測試圖像」

python test.py --photo_path ./images/photo_test.jpg --save_path ./images/cartoon_result.png

其他應用

「車牌生成」

「字體生成」

「印章去除」 想當初實習的時候我也做過CycleGAN去除印章，提升票據(jù)OCR效果

「卡通人臉生成」

往期推薦

• U2NET目標顯著性檢測，摳圖去背景效果倍兒棒

• CRNN：端到端不定長文字識別算法

• DeepHSV：號稱可以商用的計算機筆跡鑒別算法

• PolarMask：單階段實例分割框架，FCOS進階！

• PolarMask：單階段實例分割框架，FCOS進階！
  

長按二維碼關注我們

有趣的靈魂在等你

總結

以上是生活随笔為你收集整理的CycleGAN非配对图像生成，定制你的卡通照的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。