【每周CV论文】初学GAN图像风格化必须要读的文章
歡迎來到《每周CV論文》。在這個專欄里,還是本著有三AI一貫的原則,專注于讓大家能夠系統性完成學習,所以我們推薦的文章也必定是同一主題的。
圖像風格化是生成對抗網絡的一大應用,今天給大家推薦初學該領域必須要讀的文章。
作者&編輯 | 言有三
1 有監督Pix2Pix模型
當前大部分基于生成對抗網絡的風格化模型都受到了Pix2Pix的影響,或借鑒其部分結構,或借鑒其代碼。Pix2Pix是一個條件GAN的變種,它使用成對的圖像作為訓練數據集,完成圖像到圖像的翻譯,是最經典的有監督圖像風格化GAN模型。
文章引用量:3000+
推薦指數:?????
[1] Isola P, Zhu J Y, Zhou T, et al. Image-to-image translation with conditional adversarial networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 1125-1134.
2 無監督CycleGAN
Pix2Pix是最經典的有監督圖像風格化GAN模型,CycleGAN[2]則是最經典的無監督圖像風格化GAN模型,是后續大部分無監督GAN模型的鼻祖。它無須構建一對一映射的訓練數據集,是圖像風格化能夠真正得以大規模商業化應用的基礎,類似的框架還有UNIT[3]。
文章引用量:3000+
推薦指數:?????
[2] Zhu J Y, Park T, Isola P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]//Proceedings of the IEEE international conference on computer vision. 2017: 2223-2232.
[3]?Liu M, Breuel T M, Kautz J, et al. Unsupervised Image-to-Image Translation Networks[C]. neural information processing systems, 2017: 700-708.
3 多領域轉換StarGAN
原始的Pix2Pix,CycleGAN都只能解決兩個領域之間的轉換,雖然也可以對其進行拓展。StarGAN[4-5]的提出則只需要學習一個模型,就可以解決多領域間的轉換問題,是當前最經典的多領域風格遷移框架。
文章引用量:600+
推薦指數:?????
[4] Choi Y, Choi M, Kim M, et al. Stargan: Unified generative adversarial networks for multi-domain image-to-image translation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 8789-8797.
[5]?Choi Y, Uh Y, Yoo J, et al. StarGAN v2: Diverse Image Synthesis for Multiple Domains[J]. arXiv: Computer Vision and Pattern Recognition, 2019.
4 風格編碼框架StyleGAN
在風格轉換中最重要的就是學習到優秀的風格編碼,StyleGAN[6]是當前最好的風格編碼網絡,它可以精確控制所生成圖像的屬性,是必須掌握的框架。
文章引用量:400+
推薦指數:?????
[6] Karras T, Laine S, Aila T. A style-based generator architecture for generative adversarial networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 4401-4410.
[7] Karras T, Laine S, Aittala M, et al. Analyzing and Improving the Image Quality of StyleGAN.[J]. arXiv: Computer Vision and Pattern Recognition, 2019.?
5 典型應用
圖像風格化可以用于任何從一個域到另一個或者多個域轉換的場景,不論是圖像增強,圖像分割,還是特定的風格遷移,這里我們給大家推薦人臉方向的兩個經典應用,妝造遷移[8]以及人臉動畫風格[9],其他的可以自行學習。
文章引用量:30+
推薦指數:?????
[8]?Li T, Qian R, Dong C, et al. BeautyGAN: Instance-level Facial Makeup Transfer with Deep Generative Adversarial Network[C]. acm multimedia, 2018: 645-653.
[9] Kim J, Kim M, Kang H, et al. U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation[C]. international conference on learning representations, 2020.
6 文章解讀
關于GAN圖像風格化相關文章的詳細解讀,在有三AI知識星球-網絡結構1000變-GAN下有較多的文章,感興趣可以移步。
總結
本次我們介紹了基于GAN的圖像風格化領域中值得讀的文章,當前研究重點在于無監督模型,多域轉換,圖像細節控制,交互式方法等方向,讀者可以繼續關注。
有三AI知識星球
知識星球是有三AI的付費內容社區,里面包括各領域的模型學習,數據集下載,公眾號的付費圖文原稿,技術總結PPT和視頻,知識問答,書籍下載,項目推薦,線下活動等資源,了解詳細請閱讀以下文章:
【雜談】有三AI知識星球一周年了!為什么公眾號+星球才是完整的?
【雜談】萬萬沒想到,有三還有個保密的‘朋友圈’,那里面都在弄啥!
轉載文章請后臺聯系
侵權必究
往期精選
【每周論文推薦】 初入深度學習CV領域必讀的幾篇文章
【每周CV論文推薦】 掌握殘差網絡必讀的10多篇文章
【每周CV論文推薦】 初學者必須精讀的5篇深度學習優化相關文章
【每周CV論文推薦】 CV領域中數據增強相關的論文推薦
【每周CV論文推薦】 初學高效率CNN模型設計應該讀的文章
【每周CV論文推薦】 初學目標檢測必須要讀的文章
【每周CV論文推薦】 初學深度學習圖像分割必須要讀的文章
【每周CV論文推薦】 初學GAN必須要讀的文章
【每周CV論文推薦】 深度學習人臉檢測入門必讀文章
【每周CV論文推薦】 初學深度學習人臉關鍵點檢測必讀文章
【每周CV論文推薦】 初學深度學習人臉識別和驗證必讀文章
【每周CV論文推薦】 初學深度學習人臉屬性分析必讀的文章
【每周CV論文推薦】 初學活體檢測與偽造人臉檢測必讀的文章
【每周CV論文推薦】 初學深度學習單張圖像三維人臉重建需要讀的文章
【每周CV論文推薦】 人臉識別剩下的難題:從遮擋,年齡,姿態,妝造到親屬關系,人臉攻擊
【每周CV論文推薦】換臉算法都有哪些經典的思路?
【每周CV論文】深度學習文本檢測與識別入門必讀文章
【每周CV論文】深度學習圖像降噪應該從閱讀哪些文章開始
總結
以上是生活随笔為你收集整理的【每周CV论文】初学GAN图像风格化必须要读的文章的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 【信息抽取】如何使用卷积神经网络进行关系
- 下一篇: 【技术综述】人脸妆造迁移核心技术总结