keras神经风格迁移_深度神经风格迁移
介紹(由于近期準備校招,博客暫時不更新)
神經風格遷移是我研一研二時期主要的研究方向,而從最初的風格遷移出現已經有較長一段時間了。之所以現在寫這個博客,第一是因為我的畢業論文定的方向是風格遷移+情感分析;第二是借這篇博客以及之后的學習,能對深度學習更進一步的理解!
目錄
什么是風格遷移?最經典的Gatys(paper,code)中給出了風格遷移的流程圖,視為最原始的方法。借此圖說明風格遷移的基本原理。
α 圖定義為style image, p 圖定義為content image,
損失通過VGG-16的前四層來表示,層次越高,內容越抽象。這里列出幾個符號定義。
將內容圖像輸入卷積網絡中提取圖像內容,由公式
,計算內容損失。對以上公式求導
,使用反向傳輸,使得生成圖像在內容上接近原輸入內容圖像。將風格圖像輸入到同一個網絡中提取它的風格信息,風格提取的符號定義為
計算風格圖像的loss
單獨某層的損失函數
各層綜合的損失函數
求偏導
,使得生成圖像在風格上接近原輸入風格圖像。7.風格損失
8.Gatys-Image-Style-Transfer中給出的流程圖。X是白噪聲圖像。同時將三張圖片輸入到同一網絡中,對內容圖像和風格圖像求特征,對白噪聲X求導。
當前不同框架下的風格遷移
幾年前,Gatys等人的風格遷移[paper],[code]在學術界引起了不錯的反響,并催生了后續很多研究成果。雖然在Gatys之前已經有學者做遷移方面的研究,但我把這篇paper看作是first style transfer paper。
1.基于圖像優化的Slow Transfer[A Neural Algorithm of Artistic Style ][paper]
[Demystifying Neural Style Transfer][paper](Theoretical Explanation) (IJCAI 2017)
[Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses][paper]
[Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis][paper](CVPR 2016)
2.基于模型優化的Fast Transfer
2.1Per-Style-Per-Model-Methods[Perceptual Losses for Real-Time Style Transfer and Super-Resolution][paper] (ECCV 2016)
[Precomputed Real-Time Texture Synthesis with Markovian Generative Adversarial Networks] [Paper] (ECCV 2016)
[Texture Networks: Feed-forward Synthesis of Textures and Stylized Images] [Paper] (ICML 2016)
[Improved Texture Networks: Maximizing Quality and Diversity in Feed-forward Stylization and Texture Synthesis] [Paper] (CVPR 2017)
[Precomputed Real-Time Texture Synthesis with Markovian Generative Adversarial Networks] [Paper] (ECCV 2016)
2.2Multiple-Style-Per-Model-Methods[A Learned Representation for Artistic Style] [Paper] (ICLR 2017)
[Multi-style Generative Network for Real-time Transfer] [Paper]
[StyleBank: An Explicit Representation for Neural Image Style Transfer] [Paper] (CVPR 2017)
[Diversified Texture Synthesis With Feed-Forward Networks] [Paper] (CVPR 2017)
2.3Arbitrary-Style-Per-Model-Methods[Fast Patch-based Style Transfer of Arbitrary Style] [Paper]
[Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization] [Paper] (ICCV 2017)
如何評價風格遷移的實驗效果
總結
以上是生活随笔為你收集整理的keras神经风格迁移_深度神经风格迁移的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 南邮CTF web题目总结
- 下一篇: 导、地线用途及技术特性