這里寫(xiě)目錄標(biāo)題

• 1、GANs
• • 1.1數(shù)學(xué)基礎(chǔ)
  • 1.2 GANs算法原理

1、GANs

1、GAN的原理入門(mén)
2、李宏毅2017深度學(xué)習(xí) GAN生成對(duì)抗神經(jīng)網(wǎng)絡(luò)相關(guān)學(xué)習(xí)視頻合集

1.1數(shù)學(xué)基礎(chǔ)

1、概率與統(tǒng)計(jì)

概率與統(tǒng)計(jì)是兩個(gè)不同的概念。

概率是指:模型參數(shù)已知，$X$未知，$p(x_1)...p(x_n)$ 都是對(duì)應(yīng)的$x_i$的概率

統(tǒng)計(jì)是指:模型參數(shù)未知，$X$已知，根據(jù)觀測(cè)的現(xiàn)象，求模型的參數(shù)

2、似然函數(shù)與概率函數(shù)

似然跟概率是同義詞，所以似然也是表示概率，但這個(gè)概率有些不一樣。

• 似然是指：模型在不同參數(shù)下， $p(x_1)...p(x_n)$ 發(fā)生的概率

• 似然估計(jì)是指：模型的參數(shù)未知，$X$已知，根據(jù)觀測(cè)現(xiàn)象（$X$），估計(jì)模型參數(shù)的過(guò)程.“模型已定，參數(shù)未知”

如果 $\theta$ 是已知確定的， $x$是變量，這個(gè)函數(shù)叫做概率函數(shù)($probabilityfunction$)，它描述對(duì)于不同的樣本點(diǎn)$x$ ，其出現(xiàn)概率是多少。

如果$x$ 是已知確定的，$\theta$ 是變量，這個(gè)函數(shù)叫做似然函數(shù)($likelihoodfunction$), 它描述對(duì)于不同的模型參數(shù)，出現(xiàn)$x$ 這個(gè)樣本點(diǎn)的概率是多少。

最大似然估計(jì)（為什么要最大）：
對(duì)于觀測(cè)數(shù)據(jù)集$x_1,x_2...x_n$, 在$\theta$下發(fā)生的概率分別是$p(x_1|\theta ),p(x_2|\theta )...p(x_n|\theta )$, 所以出現(xiàn)該觀測(cè)數(shù)據(jù)集的概率為 $P(X|\theta )=p(x_1|\theta )p(x_2|\theta )...p(x_n|\theta )$, 那想一想為什么我一下就會(huì)抽出$x_1,x_2...x_n$這$n$個(gè)數(shù)據(jù)呢？一種直觀的解釋就是 它們發(fā)生的概率大，所以 就是求讓 $P(X)$最大下的$\theta$，這就是最大似然估計(jì)。

3、最大后驗(yàn)概率

最大似然是求參數(shù)，讓$P(X|\theta )$最大，最大后驗(yàn)概率是讓$P(X|\theta )P(\theta )$最大，相當(dāng)于給似然函數(shù)加了一個(gè)關(guān)于$\theta$的權(quán)重。這有點(diǎn)像正則化里加懲罰項(xiàng)的思想，不過(guò)正則化里是利用加法，而$MAP$里是利用乘法）

為什么要讓 $P(X|\theta )P(\theta )$ 最大？

我們是根據(jù)一群觀測(cè)數(shù)據(jù)$X=（x_1,x_2...x_n)$估計(jì)模型的參數(shù)，即求 $P({\theta }_0|X)$, 用貝葉斯改一下就是

$P({\theta }_0|X)=P(X|{\theta }_0)P({\theta }_0)/P(X)$ , 對(duì)于給定的觀測(cè)序列X來(lái)說(shuō)$P（X）$是固定的，所以我們求后驗(yàn)概率$P({\theta }_0|X)$最大就是求$P(X|{\theta }_0)P({\theta }_0)$最大

對(duì)于貝葉斯公式來(lái)說(shuō)， 其實(shí)就是 【后驗(yàn)概率$P({\theta }_0|X)$】 等于 【似然函數(shù) $P(X|{\theta }_0)$】 乘以 【先驗(yàn)概率$P({\theta }_0$)】

4、期望
（1）離散型

（2）連續(xù)型

5、最大似然估計(jì)與KL散度

6、GAN目標(biāo)函數(shù)與JS散度


所以說(shuō)，$minmax$游戲本質(zhì)上是最小化$JS$散度，即$\min (?2log2+2\times JSD(P_{data}||P_G))$

參考：https://www.cnblogs.com/bonelee/p/9166084.html

1.2 GANs算法原理

前向傳播階段

• 模型輸入
  1、我們隨機(jī)產(chǎn)生一個(gè)隨機(jī)向量作為生成模型的數(shù)據(jù)，然后經(jīng)過(guò)生成模型后產(chǎn)生一個(gè)新 的向量，作為 $FakeImage$，記作$D(z)$。
  2、從數(shù)據(jù)集中隨機(jī)選擇一張圖片，將圖片轉(zhuǎn)化成向量，作為 $RealImage$,記作 $x$
• 模型輸出
  將由 $1$ 或者 $2$ 產(chǎn)生的輸出，作為判別網(wǎng)絡(luò)的輸入，經(jīng)過(guò)判別網(wǎng)絡(luò)后輸出值為一個(gè) $0$ 到 $1$ 之間的數(shù)，用于表示輸入圖片為 $RealImage$ 的概率，$real$ 為 $1$，$fake$ 為 $0$。 使用得到的概率值計(jì)算損失函數(shù)，解釋損失函數(shù)之前，我們先解釋下判別模型的輸入。 根據(jù)輸入的圖片類型是 $FakeImage$ 或 $RealImage$ 將判別模型的輸入數(shù)據(jù)的 $label$ 標(biāo)記為 $0$ 或者 $1$。即判別模型的輸入類型為$(x_{fake},0)$或者$(x_{real},1)$。

反向傳播階段

• 優(yōu)化目標(biāo)
  
  （$z$表示輸入$G$的隨機(jī)噪聲）判別模型$D$要最大概率地分對(duì)真實(shí)樣本（最大化 $\log (D(x)$)，而生成模型$G$要最小化$D(G(z)）$，即最大化 $\log (1?D(G(z)))$。$G$和$D$同時(shí)訓(xùn)練，但是訓(xùn)練中要固定一方，更新另一方的參數(shù)，交替迭代，使對(duì)方的錯(cuò)誤最大化。最終，$G$能估計(jì)出真實(shí)樣本的分布。
  第一步：優(yōu)化 $D$
  
  優(yōu)化 $D$，即優(yōu)化判別網(wǎng)絡(luò)時(shí)，沒(méi)有生成網(wǎng)絡(luò)什么事，后面的 $G(z)$就相當(dāng)于已經(jīng)得到的假 樣本。優(yōu)化 $D$ 的公式的第一項(xiàng)，使得真樣本 $x$ 輸入的時(shí)候，得到的結(jié)果越大越好，因?yàn)檎鏄?本的預(yù)測(cè)結(jié)果越接近1越好；對(duì)于假樣本$G(z)$，需要優(yōu)化的是其結(jié)果越小越好，也就是$D(G(z))$ 越小越好，因?yàn)樗臉?biāo)簽為 $0$。但是第一項(xiàng)越大，第二項(xiàng)越小，就矛盾了，所以把第二項(xiàng)改 為 $1?D(G(z))$，這樣就是越大越好。
  第二步：優(yōu)化 $G$
  
  在優(yōu)化 $G$ 的時(shí)候，這個(gè)時(shí)候沒(méi)有真樣本什么事，所以把第一項(xiàng)直接去掉，這時(shí)候只有假 樣本，但是這個(gè)時(shí)候希望假樣本的標(biāo)簽是 $1$ ，所以是 $D(G(z))$ 越大越好，但是為了統(tǒng)一成 $1?D(G(z))$ 的形式，那么只能是最小化 $1?D(G(z))$，本質(zhì)上沒(méi)有區(qū)別，只是為了形式的統(tǒng)一。之 后這兩個(gè)優(yōu)化模型可以合并起來(lái)寫(xiě)，就變成最開(kāi)始的最大最小目標(biāo)函數(shù)了。

• 判別模型的損失函數(shù)
  

• 生成模型的損失函數(shù)
  

• 論文 ：https://arxiv.org/abs/1812.04948

• 代碼 ：https://github.com/NVlabs/stylegan

• 完整GANs筆記：http://www.gwylab.com/note-gans.html

• StyleGAN詳細(xì)解讀：http://www.gwylab.com/pdf/Note_StyleGAN.pdf

• 基于StyleGAN的一個(gè)好玩的網(wǎng)站：http://www.seeprettyface.com/

• ppt地址：http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS17.html

總結(jié)

以上是生活随笔為你收集整理的GANs的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。