近日，清華大學劉永進教授課題組在 IEEE Transactions on Visualization and Computer Graphics 上發表論文，提出基于生成對抗神經網絡的自然圖像多風格卡通化方法，代碼在 Github 上開源。

論文標題：

GAN-based Multi-Style Photo Cartoonization

論文鏈接：

https://doi.org/10.1109/TVCG.2021.3067201

代碼鏈接：

https://github.com/syz825211943/Multi-Style-Photo-Cartoonization

卡通畫是日常生活中喜聞樂見的一種藝術形式，不管是在影視作品還是在日常生活中都非常常見。很多卡通畫都是根據自然場景由藝術家精心繪制而成，耗時耗力；而一些現存的卡通畫生成算法也僅針對于單一卡通風格設計，無法獲得風格各異的卡通畫結果。論文提出了一種基于生成對抗神經網絡的自然圖像多風格卡通化方法，使用非成對數據集學習不同風格的卡通風格圖片繪制方式，幫助人們生成具有不同風格的卡通圖片，定格生活中的精彩瞬間。?

論文首先針對多風格卡通圖像轉換任務精心設計了網絡結構，如圖 1 所示。Multi-Style CartoonGAN 的生成網絡由一個公用的編碼器和多個解碼器組成，其中編碼器用于提取輸入圖片的內容，多個解碼器分別對應于多種卡通風格并進行學習；判別網絡也包括多個判別器，與多個解碼器一一對應，用于判斷輸入圖像是真實的卡通圖像還是生成網絡生成的卡通圖像；最后增加一個輔助分類器，幫助網絡更好的學習到不同風格之間的區別。

▲ Multi-Style CartoonGAN的網絡結構示意圖

論文在標準的對抗損失的基礎上，增加了邊緣模糊的對抗損失，突出卡通畫具有清晰邊緣的特點。同時，論文提出使用多層次的內容約束，對不同分辨率下的輸入圖像與輸出圖像計算 L1 距離作為內容約束以適應不同卡通風格平滑程度不同這一特點——這不僅保證了結果圖像與輸入圖像語義內容上的一致性，也保留了不同風格的繪制特點。最后增加了風格損失，對不同卡通圖像分類后計算損失，擴大不同風格之間的區別。通過同時優化這三項損失，使得生成網絡最終可以得到保留輸入圖片語義信息的多風格卡通圖像轉換結果。?

針對于對抗神經網絡非線性程度高，難以收斂的問題，我們使用初始化過程幫助網絡訓練收斂，在初始化階段我們僅使用層次化的內容約束對網絡進行訓練，在網絡能夠基本重構出輸入圖片信息之后再進行正式訓練。此外，針對于 Multi-Style CartoonGAN 網絡的設計，我們在理論上證明了網絡設計的合理性與可實踐性。?

實驗證明，論文提出的多風格卡通化方法可以同時學習到多個卡通風格的繪制方式，在保留輸入圖片內容信息的基礎上完成不同卡通風格的轉換。圖 2 給出了 Multi-Style CartoonGAN 與多種單風格轉換方法的對比結果，圖中 Gatys (image 1) 為標準的 NST 結果，我們將與輸入圖像內容相近的圖片作為風格圖像進行學習；Gatys (collection) 為改進的 NST 結果，使用訓練集內的所有卡通圖像計算平均風格特征進行風格遷移； 是使用了身份損失的 CycleGAN 版本；UNIT，GDWCT 是另外兩種代表性的單風格轉換算法。

▲ 圖2. Multi-Style CartoonGAN與NST，CycleGAN，UNIT與GDWCT的對比結果。第一列為輸入的自然圖像，后六列為對比算法以及Multi-Style CartoonGAN的對比結果。圖中前兩行由宮崎駿《千與千尋》風格訓練集中的圖片訓練得到；中間兩行由新海誠風格訓練集中的圖片訓練得到；最后兩行由法國動畫《悠長假日》風格訓練集中的圖片訓練得到。

盡管這些單風格算法都需要訓練多次才能得到多個卡通風格的轉換結果，但是效果仍然不如 Multi-Style CartoonGAN，而我們的算法只需要訓練一次就可得到多種卡通風格轉換結果。圖 3 展示了 Multi-Style CartoonGAN 與單風格的卡通圖像生成算法 CartoonGAN 相比的結果，我們利用了多風格卡通畫的結構優勢也得到了更為理想的結果——內容保持更好，線條更明顯，色塊更平滑。

▲?圖3. Multi-Style CartoonGAN與單風格CartoonGAN的比較結果。第一列為輸入的自然圖像，圖中第二、三列由宮崎駿《千與千尋》風格訓練集中的圖片訓練得到；第四、五列由新海誠風格訓練集中的圖片訓練得到；最后兩列由法國動畫《悠長假日》風格訓練集中的圖片訓練得到。

最后與多風格風格轉換算法 (MUNIT，ComboGAN) 相比，我們的結果也具有更理想的卡通特征與質量，結果見圖 4。

▲?圖4：Multi-Style CartoonGAN與MUNIT，ComboGAN的比較結果。第一列為輸入的自然圖像，后三列為對比算法以及Multi-Style CartoonGAN的對比結果。圖中第一行由宮崎駿《千與千尋》風格訓練集中的圖片訓練得到；中間一行由新海誠風格訓練集中的圖片訓練得到；最后一行由法國動畫《悠長假日》風格訓練集中的圖片訓練得到。

特別鳴謝

感謝 TCCI 天橋腦科學研究院對于 PaperWeekly 的支持。TCCI 關注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

📝?稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

·

·

總結

以上是生活随笔為你收集整理的​清华大学提出基于生成对抗神经网络的自然图像多风格卡通化方法并开源代码...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。