深度學習之生成對抗網(wǎng)絡（6）GAN訓練難題

• 1. 超參數(shù)敏感
• 2. 模式崩塌

?盡管從理論層面分析了GAN網(wǎng)絡能夠?qū)W習到數(shù)據(jù)的真實分布，但是在工程實現(xiàn)中，常常出現(xiàn)GAN網(wǎng)絡訓練困難的問題，主要體現(xiàn)在GAN模型對超參數(shù)較為敏感，需要精心挑選能使模型工作的超參數(shù)設定，同時也容易出現(xiàn)模式崩塌現(xiàn)象。

1. 超參數(shù)敏感

?超參數(shù)敏感是指網(wǎng)絡的結(jié)構(gòu)設定、學習率、初始化狀態(tài)等超參數(shù)對網(wǎng)絡的訓練過程影響較大，微量的超參數(shù)調(diào)整將可能導致網(wǎng)絡的訓練結(jié)果截然不同。如下圖所示，圖（a）為GAN模型良好訓練得到的生成樣本，圖（b）中的網(wǎng)絡由于沒有采用Batch Normalization層等設置，導致GAN網(wǎng)絡訓練不穩(wěn)定，無法收斂，生成的樣本與真實樣本差距非常大。

超參數(shù)敏感實例

2. 模式崩塌

?模式崩塌（Model Collapse）是指模型生成的樣本單一，多樣性很差的現(xiàn)象。由于判別器只能鑒別單個樣本是否采樣自真是分布，并沒有對樣本多樣性進行顯式約束，導致生成模型可能傾向于生成真實分布的部分區(qū)間中的少量高質(zhì)量樣本，以此來在判別器中獲得較高的概率值，而不會學習到全部的真是分布。模式崩塌現(xiàn)象在GAN中比較常見，如下圖所示，在訓練過程中，通過可視化生成樣本可以觀察到，生成的圖片種類非常單一，生成網(wǎng)絡總是傾向于生成某種單一風格的樣本圖片，以此騙過判別器。

圖片生成模型崩塌

?另一個直觀地理解模式崩塌的例子如下圖所示，第一行為未出現(xiàn)模式崩塌現(xiàn)象的生成網(wǎng)絡的訓練過程，最后一列為真實分布，即2D高斯混合模型；第二行為出現(xiàn)模式崩塌現(xiàn)象的生成網(wǎng)絡的訓練過程，最后一列為真實分布。可以看到真實的分布由8個高斯模型混合而成，出現(xiàn)模式崩塌后，生成網(wǎng)絡總是傾向于逼近真實分布的某個狹窄區(qū)間，如下圖第2行前6列所示，從此區(qū)間采樣的樣本往往能夠在判別器中較大概率判斷為真實樣本，從而騙過判別器。但是這種現(xiàn)象并不是我們希望看到的，我們希望生成網(wǎng)絡能夠逼近真實的分布，而不是真實分布中的某部分。

模型崩塌示意圖

?那么怎么解決GAN訓練的難題，讓GAN可以像普通的神經(jīng)網(wǎng)絡一樣訓練較為穩(wěn)定呢？WGAN模型給出了一種解決方案。

總結(jié)

以上是生活随笔為你收集整理的深度学习之生成对抗网络（6）GAN训练难题的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。