PG-GAN
為改善質量，穩定性和可變性的GANS的漸進增長
Tero Karras , Timo Aila , Samuli Laine , Jaakko Lehtinenftkarras,taila,slaine,jlehtineng@nvidia.com摘要：我們為GAN描述了一個新的訓練方法。方法的關鍵創新點就是漸進的讓生成器和判別器增長：從一個低分辨率開始，隨著訓練發展，我們不斷添加新層使模型增加更好的細節。這個方法既加速了訓練又使訓練更加穩定，生成的圖片質量史無前例的好，例如：1024*1024大小的CELEBA圖片。我們也提出了一個簡單的在生成圖片的過程中增加變量的方法，并且在無監督數據集CIFAR10上獲得了8.80分的記錄。另外，我們描述了若干實現細節，這對打壓生成器和判別器之間的非健康競爭是非常重要的。最后，我們為評估GAN的圖片質量和可變性兩項的結果提出了一個新的度量。因為增加項的貢獻，我們構建了一個更高質量版本的CELEBA數據集。
1 介紹
我們發現從高維度的數據分布中（例如圖片）產生新穎樣本的生成式方法正在廣泛使用，例如語音合成（van den Oord et al., 2016a），圖像到圖像的轉換（Zhu et al., 2017; Liu et al., 2017）以及圖像繪制（Iizuka et al.,2017）。目前最好的方法是自動回歸模型（van den Oord et al.,2016b;c），可變自動編碼（VAE）（Kingma & Welling, 2014）以及GAN（(Goodfellow et al., 2014）。目前他們都有顯著的優勢和劣勢。自動回歸模型–例如PixelCNN–會產生銳化的圖片但是評估緩慢并且不具備一個潛在的代表性，因為他們是直接在像素上模型化條件分布，潛在的限制了他們的適用性。VAEs方法訓練簡單但是由于模型的限制傾向于產生模糊的結果，雖然最近的工作正在改善這個缺點（Kingma et al., 2016）。GANs方法雖然只能在相當小的分辨率并且帶有一些限制的可變性分辨率上產生銳化圖像，盡管最近有新的進展 (Salimans et al., 2016; Gulrajaniet al., 2017; Berthelot et al., 2017; Kodali et al., 2017)但是在訓練上仍然是不穩定的。Hybrid 的方法結合了這三個方法的不同優點，但是目前在圖片質量上仍然不如GANs(Makhzani & Frey, 2017; Ulyanov et al.,2017; Dumoulin et al., 2016)。
典型的，一個GAN模型包括兩個網絡：生成式網絡和判別式網絡（aka critic）。生成式網絡生成一個樣本，例如：從一個潛在的代碼中生成一副圖片，這些生成的圖片分布和訓練的圖片分布是不可分辨的。因為通過創建一個函數來辨別是生成樣本還是訓練樣本一般是不可能的，所以一個判別器網絡被訓練去做這樣一個評估，因為網絡是可區分的，所以我們也可以得到一個梯度用來引導網絡走到正確的方向。典型的，生成器是主要興趣方–判別器就是一個適應性的損失函數，即一旦生成器被訓練后，這個函數就要被丟棄。
這個公式存在多種潛在的問題。例如：當我們測量訓練分布和生成分布之間的距離時，如果分布之間沒有大量的很容易分辨的重疊那么梯度可能指出或多或少的隨機方向 (Arjovsky& Bottou, 2017)。原來， Jensen-Shannon散度被用作距離度量（Goodfellow et al., 2014），最近這個公式已經被改善（Hjelm et al., 2017）并且大量更多的可選方案被提出，包括least squares (Mao et al., 2016b)，絕對邊緣誤差（absolute deviation with margin (Zhao et al., 2017)），以及Wasserstein 距離(Arjovsky et al., 2017; Gulrajani et al., 2017)。我們的貢獻和目前正在進行的討論大部分是正交的，并且我們基本使用改善的Wasserstein 損失，但是也有基于least-squares損失的實驗。
高分辨率圖片的生成是困難的因為更高的分辨率使得判別器更容易分辨是生成的圖片還是訓練圖片（Odena et al., 2017），因此徹底放大了這個梯度問題。由于內存的限制，大分辨率使用更小的minibatches也是需要的，所以要和訓練穩定性進行折中。我們的關鍵亮點在于我們可以同時漸進促進生產器和判別器增長，從比較簡單的低分辨率開始，隨著訓練的發展，不斷添加新的層引進更高分辨率細節。這個很大程度上加速了訓練并且改善了在高分辨率圖片上的穩定性，正如我們在Section 2中討論的。
GAN公式沒有明確要求所有的訓練數據分布都由生成的生成式模型來表述。傳統方法會在圖片質量和可變性之間有一個折中，但是這個觀點最近已經改變 (Odena et al., 2017)。保留的可變性的程度目前受到關注并且提出了多種方法去測量可變性，包括初始分數 (Salimans et al., 2016)，多尺度結構相似性 (MS-SSIM) (Odena et al., 2017; Wang et al., 2003)，生日悖論(Arora & Zhang,2017)，以及發現的離散模式的顯示測試 (Metz et al., 2016)。我們將在Section 3中描述鼓勵可變性的我們的方法，并在 Section 5中提出一個評估質量和可變性的新的度量。
Section 4.1中對網絡的初始化討論了一個細小的修改，使得不同層的學習速度更加平衡。更進一步，我們觀察到在十幾個minibatches的過程中，GAN會更快速的發生令人討厭的傳統的模式崩塌現象，通常當判別器處理過度時模式崩塌開始，導致梯度過大，并且會在兩個網絡信號幅度增大的地方伴隨著一個不健康的競爭。我們提出了一個機制去阻止生成器參與這樣的升級，以克服這個問題 (Section 4.2)。
我們使用CELEBA, LSUN, CIFAR10數據集去評估我們的貢獻。對于 CIFAR10我們改善了已經公布的最好的初始分數。因為通常被用于評量標準的生成方法的數據集對于相當低的分辨率來說是受限制的，所以我們已經創建了一個更高質量版本的CELEBA數據集，允許輸出分辨率高達 1024 × 1024像素的實驗。我們正準備發布這個數據集。我們成果的全部實現在網址https://github.com/tkarras/progressive_growing_of_gans可以獲得，帶有結果圖片的訓練網絡在?https://drive.google.com/open?id=0B4qLcYyJmiz0NHFULTdYc05lX0U?獲得，補充的vidio說明數據集，額外的結果，隱藏的空間插值都在https://youtu.be/XOxxPcy5Gr4。
2 GANs的漸進增長
我們的主要貢獻就是GANs的訓練方法：從低分辨率圖片開始，然后通過向網絡中添加層逐漸的增加分辨率，正如Figure 1所示。這個增加的本質使得訓練首先發現大尺度結構的圖片分布，然后將關注點逐漸的轉移到更好尺度細節上，而不是必須同時學習所有的尺度。
我們使用生成器網絡和判別器網絡作為相互的鏡子并且同步促進兩者的增長。同時在兩個網絡中的所有現存的層通過訓練進程保持可訓練性。當新的層被添加到網絡中時，我們平滑的減弱它們，正如Fig2中所解釋的。這樣就避免了給已經訓練好的更小分辨率的層帶來突然的打擊。附錄A從細節上描述生成器網絡和判別器網絡的結構，并附有其他的訓練參數。
我們觀察到漸進訓練有若干好處。早期，更小圖像的生成非常穩定因為分類信息較少而且模式也少（Odena et al.,2017）。通過一點一點的增加分辨率，我們正不斷的尋找一個更簡單的問題，即：和最終目標進行比較，最終目標：從潛在向量中（例如1024*1024的圖片）發現一個匹配。這個方法在概念上類似于最近Chen&Koltun（2017）的工作。在實踐上，對于我們來說，它使訓練充分穩點，因此在利用WGANGP損失(Gulrajani et al., 2017 )甚至LSGAN損失( Mao et al., 2016b)去合成megapixel-scale圖片變得可靠。
另外一個好處是減少了訓練時間。隨著GANs網絡的漸進增長，大部分的迭代都在較低分辨率下完成，對比結果質量加快了2-6倍的速度，這都依賴最后的輸出分辨率。
?
Figure1:我們的訓練開始于有著一個4*4像素的低空間分辨率的生成器和判別器。隨著訓練的改善，我們逐漸的向生成器和判別器網絡中添加層，因此增加生成圖片的空間分辨率。所有現存的層通過進程保持可訓練性。這里N×N是指卷積層在N×N的空間分辨率上進行操作。這個方法使得在高分辨率上穩定合成并且加快了訓練速度。右圖我們展示了六張通過使用在1024 × 1024空間分辨率上漸進增長的方法生成的樣例圖片。
?
Figure 2:當把生成器和判別器的分辨率加倍時，我們會平滑的增強新的層。這個樣例解釋了如何從16 × 16像素的圖片轉換到32 × 32像素的圖片。在轉換（b）過程中，我們把在更高分辨率上操作的層視為一個殘缺塊，權重α從0到1線性增長。這里的2× 和 0.5× 指利用最近鄰濾波和平均池化分別對圖片分辨率加倍和折半。toRGB表示將一個層中的特征向量投射到RGB顏色空間中，fromRGB正好是相反的過程；這兩個過程都是利用1 × 1卷積。當訓練判別器時，我們插入下采樣后的真實圖片去匹配網絡中的當前分辨率。在分辨率轉換過程中，我們在兩張真實圖片的分辨率之間插值，類似于如何將兩個分辨率結合到一起用生產器輸出。
這個漸進增長的GANs想法是和課程GANs（無名）相關的，這個想法就是：把多個在不同空間分辨率上操作的判別器和一個單一的生成器連接，進一步的把調整兩個分辨率之間的平衡作為訓練時間的一個函數。這個想法按照兩個方法輪流工作，即Durugkar et al. (2016)提出的同時使用一個生成器和多個判別器的方法以及Ghosh et al. (2017)提出的相反的使用多個生成器和一個判別器的方法。和早期的自適應增長型網絡相比，例如：使網絡貪婪增長的增長型神經氣(Fritzke, 1995)以及增強型拓撲結構的神經進化(Stanley & Miikkulainen, 2002)，我們簡單的推遲了預配置層的介入。這種情況下，我們的方法和自動編碼的智能層訓練(Bengio et al., 2007)相像。
3 使用小批量標準偏差增加可變性
抓取在訓練數據中發現的變量的僅一個子集是GANs的一個趨勢，Salimans et al. (2016)提出了“minibatch discrimination”作為解決方案。他們不僅從單個圖片中而且還從小批量圖片中計算特征統計，因此促進了生成的小批量圖片和訓練圖片展示出了相似的統計。這是通過向判別器末端增加一個小批量層來實施，這個層學習一個大的張量將輸入激活投射到一個統計數組中。在一個小批量中的每個樣例會產生一個獨立的統計集并且和輸出層連接，以至于判別器可以從本質上使用這個統計。我們大大簡化了這個方法同時提高了可變性。
我們的簡化的解決方案既沒有可學習的參數也沒有新的超參數。我們首先計算基于小批量的每個空間位置的每個特征的標準偏差。然后對所有特征和空間位置的評估平均化到一個單一的值。我們復制這個值并且將它連接到所有空間位置以及小批量上，服從一個額外的（不變的）特征映射。這個層可以在網絡中的任何地方插入，但是我們發現最好是插入到末端(see Appendix A.1 for details)。我們用一個豐富的統計集做實驗，但是不能進一步提高可變性。
針對可變性這個問題另一個解決方案包括：展開判別器(Metz et al., 2016)去正則化它的更新，以及一個 “repelling regularizer” (Zhao et al., 2017)方法,即向生成器中添加一個新的損失項，嘗試促進它與一個小批量中的特征向量正交化。Ghosh et al. (2017）提出的多個生成器也滿足這樣一個相似的目標。我們承認這些解決方案可能會增加可變性甚至比我們的解決方案更多–或者可能與它正交–但是后面留有一個細節性的比較。
4 在生成器和判別器中規范化
由于兩個網絡之間的不健康的一個競爭結果，GANs往往會有信號幅度升級情況。大多數早期的解決方案并不鼓勵這種在生成器以及在判別器中使用批處理正則化的一個變量 (Ioffe & Szegedy, 2015; Salimans & Kingma, 2016; Ba et al., 2016)的方式。這些正則化方法原來是消除協變量偏移的。然而，我們沒有觀察到在GANs中存在這個問題，因此相信在GANs中需要的是制約信號幅度以及競爭問題。我們使用兩個因素且都不包含可學習參數的不同方法。
4.1 調節學習速率
我們脫離了當前謹慎的權重初始化趨勢，使用了一個數學上最簡單的正太分布N (0; 1)初始化，然后在運行階段顯示縮放權重。為了更精確，我們設置，wi是權重，c是來自于He等的初始化方法 (He et al., 2015)的前一層正則化常量。在初始化過程中動態做這種操作的好處是有一些微妙的，它關系到常規的使用自適應隨機梯度下降法例如RMSProp (Tieleman & Hinton, 2012) 和 Adam (Kingma & Ba, 2015)方法保持的尺度不變性。這些方法通過評估標準差正則化一個梯度更新，因此使更新不依賴于參數的變化。結果，如果一些參數相比較其他參數而言有一個更大范圍的動態變化，他們將花費更長的時間去調整。這是一個現在初始化問題面臨的場景，因此有可能出現在同一時間學習速率既是最大值也是最小值的情況。我們的方法保證了動態范圍，因此對于所有權重，學習速度都是一樣 的。
4.2 生成器中的pixelwise特征向量歸一化
由于競爭的結果，為了防止出現在生成器和判別器中的量級逐漸脫離控制的場景，我們對每個像素中的特征向量進行歸一化使每個卷積層之后的生成器中的長度可以單位化。我們只用一個“局部相應正則化” (Krizhevsky et al., 2012)變量，按照公式?配置，其中?N表示特征匹配的數量，ax,y和bx,y分別表示像素（x,y）中的原始和歸一化特征向量。我們驚喜的發現這個粗率的限制在任何方式下看起來都不會危害到這個生成器并且對于大多數數據集，它也不會改變太多結果，但是它卻在有需要的時候有效的防止了信號幅度的增大。
5 評估GAN結果的多尺度統計相似性
為了把一個GAN的結果和另一個做比較，需要調查大量的圖片，這可能是乏味的，困難的并且主觀性的。因此依賴自動化方法–從大量的收集圖片中計算一些指示性指標 是可取的。我們注意到現存的方法例如MS-SSIM (Odena et al., 2017)在發現大尺度模式的崩塌很可靠，但是對比較小的影響沒有反應例如在顏色或者紋理上的損失變化，而且它們也不能直接對訓練集相似的圖片質量進行評估。
我們的直覺是一個成功的生成器會基于所有尺度，產生局部圖像結構和訓練集是相似的樣例。我們建議通過考慮兩個分別來自于生成樣例和目標圖片的 Laplacian金字塔表示的局部圖片匹配分布的多尺度統計相似性，并從 16 × 16像素的低通過分辨率開始，進行學習。隨著每一個標準的訓練，這個金字塔雙倍的漸增知道獲得全部分辨率，每個連續的水平的編碼都不同于它先前的上采樣版本。
一個單一的拉普拉斯金字塔等級對應著一個特定空間頻率帶。我們隨機采樣16384 張圖片并從拉普拉斯金字塔中的每一級中提取出128個描述符，每一級給我們2.1M描述符。每一個描述符都是帶有3個顏色通道的 7 × 7相鄰像素，通過?來指定。我們把訓練集和生成集中的l級的匹配分別指定為?我們首先標準化?w.r.t.每個顏色通道的均值和標準差，然后通過計算他們的（sliced Wasserstein distance）值評估統計相似性，這是一種有效的使用512個映射 (Rabin et al., 2011)計算隨機近似的EMD值（earthmovers distance）的方法。
直觀上，一個小的Wasserstein距離表示了塊兒間的分布是相似的，意味著訓練樣例和生成樣例在外貌以及空間分辨率的變化上都是相似的。特別是，從最低的分辨率 16 × 16的圖片上提取出的塊兒集之間的距離表明在大尺度圖像結構方面是相似的，然而finest-level的塊兒編碼了關于像素級屬性的信息例如邊界的尖銳性和噪聲。
6 實驗
這部分我們討論了一系列的實驗來評估我們結果的質量。我們的網絡結構以及訓練編譯的細節描述請參考附件A。我們也邀請讀著去參閱另外的結果圖片的附帶視頻(https://youtu.be/XOxxPcy5Gr4) 以及隱藏的空間插值。這部分我們將區分網絡結構 (e.g., convolutional layers, resizing)，訓練編譯（不同的正則化層，相關的小批處理操作），以及訓練損失 (WGAN-GP, LSGAN)。
6.1 就統計相似性而言本人貢獻的重要性
我們首先將使用SWD值和多尺度結構相似性（MSSSIM） (Odena et al., 2017) 去評估我們自己貢獻的重要性，也從感知上驗證度量本身。我們會在一個先前的最新損失函數 (WGAN-GP)的頂層進行編譯并在一個128*128分辨率的 CELEBA (Liu et al., 2015)和LSUN BEDROOM (Yu et al., 2015)的非監督數據集上訓練配置 (Gulrajani et al., 2017)。CELEBA 數據集特別適合這樣的比較因為這些圖片包含 了顯著的偽跡（混疊，壓縮，模糊），這些偽跡對于生成器來說重新準確的生成式很困難的。在這個測試中，我們通過選擇一個相關的低容量網絡結構（附件A.2）并且一旦判別器已經展示了總共10M的真實圖片時就終止訓練的方式來訓練配置并放大訓練配置間的差異。這樣結果就不會全部相同（相似）。
Table 1列出了在若干訓練配置中的SWD和MS-SSIM的數值，表明了我們的個人貢獻逐漸的使基線的頂部(Gulrajani et al., 2017)一個接一個的成為可能。MS-SSIM個數是平均來自于10000對生成圖片，SWD值計算在第5部分描述。Figure 3展示了來自于這些配置的生成的CELEBA圖片。由于空間限制，這個圖片僅僅展示了每行桌子的一小部分樣例，但是在附近H中可以獲得一個更廣的集合。從直覺上說，一個好的評估標準應該獎勵展示出的在顏色，紋理以及角度的大量變量中很相似的圖片。然而，這并沒有被MS-SSIM捕捉到：我們可以立刻看到配置（h）生成了比配置（a）更好的圖片，但是MS-SSIM值保持近似不變因為它僅僅測量輸出的變化而不測量輸出與訓練集的相似性。另一方面，SWD就有一個明顯的改善。?
?
Table 1:生成樣例和訓練樣例之間的SWD值（ Sliced Wasserstein distance） (Section 5)和針對設置為 128 × 128分辨率的若干訓練集的生成樣例之間的多尺度結構相似性 (MS-SSIM)。對于SWD，每一列展示了拉普拉斯金字塔的一個層級，最后一列給出了蘇哥距離的平均值。
?
Figure 3: (a) – (g) CELEBA樣例對應Table 1中的行。這些是有意不收斂的。（h）我們的收斂結果。注意有些圖片是混疊的并且有些圖片是非尖銳的–這是一個數據集的缺陷，這種模型會學習如實的復制。
第一個訓練配置(a)對應方法Gulrajani et al. (2017)，特征化生成器中的批處理正則化，判別器中的層正則化，并且小批量大小為64。(b)能夠使網絡漸進增長，導致輸出圖片更加尖銳更加可信。SWD正確的發現了生成圖片的分布于訓練集更加相似。
我們的主要目標是輸出高分辨率，這就要求減少小批量大小來保證運行在可獲得的存儲空間預算之內。在（c）中我們說明了將批處理有64降到16時遇到的挑戰。在兩個度量中可以清楚的看到生成的圖片是不自然的。在(d)中，我們通過調整超參數以及移動批處理正則化和層正則化使訓練進程穩定。?
作為中間的一個測試(e?)，我們能夠小批量的判別 (Salimans et al., 2016)，有時也不能改善任何度量，包括測量輸出變量的MS-SSIM值。相反，我們的小批量標準差 (e) 改善了SWD的平均得分還有圖片。然后我們將我們的貢獻用于 (f) 和(g)中，導致了在SWD以及主管視覺質量方面的總體改進。最后，在(h)中，我們使用一個非殘疾網絡以及更長時間的訓練–我們認為生成圖片的質量可以和目前最好的結果想媲美。
6.2 收斂性以及訓練速度
Figure 4 說明了SWD度量的漸進增長的影響以及原始圖像的吞吐率。前兩個圖對應Gulrajani et al. (2017)的帶有和不帶有漸進增長的訓練配置。我們觀察到漸進變量提供了兩個主要優點：它收斂到一個非常好的最佳值并且總共的訓練時間大概減少了一倍。改進的收斂值由課程學習的一個隱形格式來解釋，這個課程學習有逐漸增長的網絡容量決定。沒有漸進增長情況下，生成器和判別器的所有層都要求同時找到簡潔的大尺度變化和小尺度細節的中間展示。然而，漸進增長下，現存的低分辨率層可能在早期就已經收斂了，所以網絡僅僅要求隨著新層的加入，通過增加更小尺度影響得到更精煉的展示。確實，我們在Figure 4(b)中可以看到最大尺度的統計相似性曲線(16)很快的到達了它的優化值并且穿過訓練的間斷時間保持連續。更小尺度的曲線(32, 64, 128)隨著分辨率的增加逐個的趨于平穩，但是每條曲線的收斂性是非常一致的。正如所料，非漸進訓練的?
Figure 4(a)中，每個SWD度量的收斂值尺度都是不平穩的。?
?
Figure 4: 在訓練速度和收斂性方面漸進增長的影響。使用了一個NVIDIA Tesla P100 GPU測量時間。 (a) 關于Gulrajani et al. (2017)方法提到的掛鐘，使用128 × 128分辨率的CELEBA數據集統計相似性。每個曲線都展示了拉普拉斯金字塔每一級的SWD值，垂直的線指示我們在Table 1中停止訓練的點。（b）能夠漸進增長的相同曲線。短的垂直線指示我們在G和D中雙倍增加分別率的點。（c）在1024 × 1024分辨率以原訓練速度漸進增長的影響。
6.3 使用CELEBA-HQ數據集生成高分辨率圖像
為了證明我們的結果是高輸出分辨率，我們需要一個變化充分的高質量數據集。然而，以前在GaN文獻中使用的幾乎所有公開可用的數據集都局限于相對較低的從32*32 到480*480的分辨率范圍。文中末尾，我們創建了一個高質量版本的CELEBA數據集，包含30000張1024 × 1024分辨率的圖片。關于數據集生成的進一步細節參考附件C。
我們的貢獻允許我們以一個穩健高效的方式處理高分辨率的輸出。Figure 5選擇了我們的網絡生成的1024 × 1024分辨的圖片。然而在另一個數據集上 (Marchesi, 2017)，兆像素的GAN結果已經在這之前展示出來了，但我們的結果更加多樣化，感知質量也更高。一個更大的結果圖像集以及從訓練數據中找到的最近鄰圖像集請參考附件F。附帶的視頻顯示了潛在的空間插值和可視化的循序漸進的訓練。插值使我們首先隨機化一個每一幀的潛在編碼（來自于正太分布N (0; 1)的512個獨立的樣例組件），然后我們用一個高斯函數 (σ = 45 frames @ 60Hz)跨越時間模糊化潛在特征，最后歸一化每個向量到一個單位超球面上。
我們在一塊NVIDIA Tesla P100 GPU上訓練了20天的網絡，直到我們觀察不到連續的訓練迭代結果之間的質量差異。我們的實施方法被用在一個依賴于當前輸出分辨率的自適應小批量大小的網絡上使可獲得的內存預算被最佳利用。
為了證明我們的貢獻在很大程度上和損失函數的選擇是正交的，我們也使用 LSGAN 損失來替代WGAN-GP損失訓練 了相同的網絡。Figure 1展示了使用我們方法和使用 LSGAN方法產生的 1024*1024分辨率的圖片中的六個樣例，設置的詳細細節在附件B中給出。?
?
Figure 5:使用CELEBA-HQ 數據集生成的1024 × 1024分辨率的圖片。附件F有更大的結果集，以及潛在空間插值的附帶視頻。右邊，是由Marchesi (2017) 提出的一個更早期的兆像素GAN生成的兩幅圖片，展示限制的細節以及變化。
?
Figure 6:在 LSUN BEDROOM數據集上的可視化質量比較；圖片復制于引用的文章。
6.4 LSUN結果
Figure 6展示了一個純粹的我們的解決方案和在 LSUN BEDROOM數據集上的早期結果的視覺比較。Figure 7給了被選擇的7個不同的LSUN種類的256*256分辨率的樣例。附件G中可以獲得一個更大的，沒有組織的所有30個LSUN種類的結果集，視頻證明插值。我們不知道這些種類的早期結果，雖然有些種類比其它的要好，但是我們感覺整體質量是高的。
6.5 CIFAR10 數據集的初始得分
我們知道的CIFAR10(10 categories of 32 × 32 RGB images) 的最好初始得分是：非監督數據集7.9分，帶標簽條件設置的數據集8.87分(Grinblat et al., 2017)。這兩個數字之間的最大差異主要是由 “ghosts”導致的，在非監督環境中它必然出現在類之間，然而在有標簽條件時可以移除很多這樣的轉換。
當我們的所有貢獻都成功的時候，我們在非監督環境中會有8.8的得分。附錄D顯示了一組有代表性的結果圖像，以及從早期方法得到的更全面的結果列表。網絡和訓練設置對CELEBA數據集要求是一樣的，當然進程限制為32*32分辨率。僅有的用戶化就是WGAN-GP的正則化項?。Gulrajani et al. (2017)使用γ = 1.0，對應1-Lipschitz，但是我們注意到事實上最小化ghosts會使轉換 (γ = 750)更好更快。我們還沒有用其他數據集嘗試這個方法。
7 討論
我們的結果質量普遍高于先前的在GANs上的質量，并且在大分辨率上的訓練穩定，對于真正的真實照片來說還有好長的路。對依賴數據的限制的語義敏感性和理解還有很多需要提高，例如確定的目標是直接可得的而不是間接得到的。圖像的微觀結構還有改進的余地。就是說，我們覺得 convincing realism現在是可能實現的，特別是CELEBA-HQ。
參考文獻
Anonymous. Curriculum training of generative adversarial networks for image generations. Submitted to ICLR 2018.
Martin Arjovsky and Leon Bottou. Towards principled methods for training generative adversarial ′networks. In ICLR, 2017.
Martin Arjovsky, Soumith Chintala, and Leon Bottou. Wasserstein GAN. ′ CoRR, abs/1701.07875,2017.
Sanjeev Arora and Yi Zhang. Do GANs actually learn the distribution? an empirical study. CoRR,abs/1706.08224, 2017.
Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E. Hinton. Layer normalization. CoRR,abs/1607.06450, 2016.
Yoshua Bengio, Pascal Lamblin, Dan Popovici, and Hugo Larochelle. Greedy layer-wise training of deep networks. In P. B. Scholkopf, J. C. Platt, and T. Hoffman (eds.), ¨ NIPS, pp. 153–160. 2007.
David Berthelot, Tom Schumm, and Luke Metz. BEGAN: Boundary equilibrium generative adversarial networks. CoRR, abs/1703.10717, 2017.
Peter J. Burt and Edward H. Adelson. Readings in computer vision: Issues, problems, principles,and paradigms. chapter The Laplacian Pyramid As a Compact Image Code, pp. 671–679. 1987.
Qifeng Chen and Vladlen Koltun. Photographic image synthesis with cascaded refinement networks.CoRR, abs/1707.09405, 2017.
Zihang Dai, Amjad Almahairi, Philip Bachman, Eduard H. Hovy, and Aaron C. Courville. Calibrating energy-based generative adversarial networks. In ICLR, 2017.
Emily L. Denton, Soumith Chintala, Arthur Szlam, and Robert Fergus. Deep generative image models using a Laplacian pyramid of adversarial networks. CoRR, abs/1506.05751, 2015.
Vincent Dumoulin, Ishmael Belghazi, Ben Poole, Alex Lamb, Martin Arjovsky, Olivier Mastropietro, and Aaron Courville. Adversarially learned inference. CoRR, abs/1606.00704, 2016.
Ishan P. Durugkar, Ian Gemp, and Sridhar Mahadevan. Generative multi-adversarial networks.CoRR, abs/1611.01673, 2016.
Bernd Fritzke. A growing neural gas network learns topologies. In G. Tesauro, D. S. Touretzky, and T. K. Leen (eds.), Advances in Neural Information Processing Systems 7, pp. 625–632. 1995.
Arnab Ghosh, Viveka Kulharia, Vinay P. Namboodiri, Philip H. S. Torr, and Puneet Kumar Dokania. Multi-agent diverse generative adversarial networks. CoRR, abs/1704.02906, 2017.
Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. Generative Adversarial Networks. In NIPS, 2014.
Guillermo L. Grinblat, Lucas C. Uzal, and Pablo M. Granitto. Class-splitting generative adversarial networks. CoRR, abs/1709.07359, 2017.
Ishaan Gulrajani, Faruk Ahmed, Mart′?n Arjovsky, Vincent Dumoulin, and Aaron C. Courville. Improved training of Wasserstein GANs. CoRR, abs/1704.00028, 2017.
Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Delving deep into rectifiers: Surpassing human-level performance on imagenet classification. CoRR, abs/1502.01852, 2015.
R Devon Hjelm, Athul Paul Jacob, Tong Che, Kyunghyun Cho, and Yoshua Bengio. BoundarySeeking Generative Adversarial Networks. CoRR, abs/1702.08431, 2017.
Xun Huang, Yixuan Li, Omid Poursaeed, John E. Hopcroft, and Serge J. Belongie. Stacked generative adversarial networks. CoRR, abs/1612.04357, 2016.
Satoshi Iizuka, Edgar Simo-Serra, and Hiroshi Ishikawa. Globally and locally consistent image completion. ACM Trans. Graph., 36(4):107:1–107:14, 2017.
Sergey Ioffe and Christian Szegedy. Batch normalization: Accelerating deep network training by reducing internal covariate shift. CoRR, abs/1502.03167, 2015.
Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR, 2015.
Diederik P. Kingma and Max Welling. Auto-encoding variational bayes. In ICLR, 2014.
Diederik P Kingma, Tim Salimans, Rafal Jozefowicz, Xi Chen, Ilya Sutskever, and Max Welling. Improved variational inference with inverse autoregressive flow. In NIPS, volume 29, pp. 4743–4751. 2016.
Naveen Kodali, Jacob D. Abernethy, James Hays, and Zsolt Kira. How to train your DRAGAN. CoRR, abs/1705.07215, 2017.
Dmitry Korobchenko and Marco Foco. Single image super-resolution using deep learning, 2017.
URL?https://gwmt.nvidia.com/super-res/about. Machines Can See summit.
Alex Krizhevsky, Ilya Sutskever, and Geoffrey E. Hinton. Imagenet classification with deep convolutional neural networks. In NIPS, pp. 1097–1105. 2012.
Christian Ledig, Lucas Theis, Ferenc Huszar, Jose Caballero, Andrew P. Aitken, Alykhan Tejani, Johannes Totz, Zehan Wang, and Wenzhe Shi. Photo-realistic single image super-resolution using a generative adversarial network. CoRR, abs/1609.04802, 2016.
Ming-Yu Liu, Thomas Breuel, and Jan Kautz. Unsupervised image-to-image translation networks. CoRR, abs/1703.00848, 2017.
Ziwei Liu, Ping Luo, Xiaogang Wang, and Xiaoou Tang. Deep learning face attributes in the wild. In ICCV, 2015.
Alireza Makhzani and Brendan J. Frey. PixelGAN autoencoders. CoRR, abs/1706.00531, 2017.
Xiao-Jiao Mao, Chunhua Shen, and Yu-Bin Yang. Image restoration using convolutional autoencoders with symmetric skip connections. CoRR, abs/1606.08921, 2016a.
Xudong Mao, Qing Li, Haoran Xie, Raymond Y. K. Lau, and Zhen Wang. Least squares generative adversarial networks. CoRR, abs/1611.04076, 2016b.
Marco Marchesi. Megapixel size image creation using generative adversarial networks. CoRR, abs/1706.00082, 2017.
Luke Metz, Ben Poole, David Pfau, and Jascha Sohl-Dickstein. Unrolled generative adversarial networks. CoRR, abs/1611.02163, 2016.
Augustus Odena, Christopher Olah, and Jonathon Shlens. Conditional image synthesis with auxiliary classifier GANs. In ICML, 2017.
Tim Salimans and Diederik P. Kingma. Weight normalization: A simple reparameterization to accelerate training of deep neural networks. CoRR, abs/1602.07868, 2016.
Tim Salimans, Ian J. Goodfellow, Wojciech Zaremba, Vicki Cheung, Alec Radford, and Xi Chen. Improved techniques for training GANs. In NIPS, 2016.
Kenneth O. Stanley and Risto Miikkulainen. Evolving neural networks through augmenting topologies. Evolutionary Computation, 10(2):99–127, 2002.
Tijmen Tieleman and Geoffrey E. Hinton. Lecture 6.5 - RMSProp. Technical report, COURSERA: Neural Networks for Machine Learning, 2012.
Dmitry Ulyanov, Andrea Vedaldi, and Victor S. Lempitsky. Adversarial generator-encoder networks. CoRR, abs/1704.02304, 2017.
Aaron van den Oord, Sander Dieleman, Heiga Zen, Karen Simonyan, Oriol Vinyals, Alex Graves, ¨ Nal Kalchbrenner, Andrew W. Senior, and Koray Kavukcuoglu. Wavenet: A generative model for raw audio. CoRR, abs/1609.03499, 2016a.
Aaron van den Oord, Nal Kalchbrenner, and Koray Kavukcuoglu. Pixel recurrent neural networks. ¨ In ICML, pp. 1747–1756, 2016b.
Aaron van den Oord, Nal Kalchbrenner, Oriol Vinyals, Lasse Espeholt, Alex Graves, and Koray ¨Kavukcuoglu. Conditional image generation with PixelCNN decoders. CoRR, abs/1606.05328,2016c.
Zhou Wang, Eero P. Simoncelli, and Alan C. Bovik. Multi-scale structural similarity for image quality assessment. In Proc. IEEE Asilomar Conf. on Signals, Systems, and Computers, pp.1398–1402, 2003.
David Warde-Farley and Yoshua Bengio. Improving generative adversarial networks with denoising feature matching. In ICLR, 2017.
Jianwei Yang, Anitha Kannan, Dhruv Batra, and Devi Parikh. LR-GAN: layered recursive generative adversarial networks for image generation. 2017.
Fisher Yu, Yinda Zhang, Shuran Song, Ari Seff, and Jianxiong Xiao. LSUN: Construction of a large-scale image dataset using deep learning with humans in the loop. CoRR, abs/1506.03365,2015.
Junbo Jake Zhao, Michael Mathieu, and Yann LeCun. Energy-based generative adversarial network. In ICLR, 2017.
Jun-Yan Zhu, Taesung Park, Phillip Isola, and Alexei A. Efros. Unpaired image-to-image translation using cycle-consistent adversarial networks. CoRR, abs/1703.10593, 2017.
總結
- 上一篇： CT三维重建综述
- 下一篇： 瑞星：周末拦截挂马网站数减少 新闻类网站