對(duì)于連續(xù)型隨機(jī)變量，假設(shè)P為隨機(jī)變量X的概率分布，則p(x)為隨機(jī)變量X在X = x處的概率
三者都是用來(lái)衡量?jī)蓚€(gè)概率分布P(x)和Q(x)之間的差異性的指標(biāo)

KL散度
KL散度（Kullback–Leibler divergence）又稱(chēng)KL距離，相對(duì)熵。$$D(P||Q)={\int }_{?\infty }^{\infty }P(x)log\frac{P(x)}{Q(x)}$$

• 不對(duì)稱(chēng)性：即D(P||Q)!=D(Q||P)
• 非負(fù)性：即D(P||Q)>0
• P(x)和Q(x)的相似度越高，KL散度越小。

JS散度
JS散度（Jensen-Shannon divergence）也稱(chēng)JS距離，是KL散度的一種變形。
$$JS(P||Q)=\frac{1}{2}KL(P(x)||\frac{P(x)+Q(x)}{2})+\frac{1}{2}KL(Q(x)||\frac{P(x)+Q(x)}{2})$$

• 值域范圍：JS散度的值域范圍是[0,1]，相同為0，相反為1。
• 對(duì)稱(chēng)性：JS(P||Q)=JS(Q||P)

信息熵

• 隨機(jī)變量X在x處的香農(nóng)信息量為：$?log(p(x))$，確定性越大，信息量越小。
• 信息熵$H(p)$是香農(nóng)信息量$?log(p(x))$的數(shù)學(xué)期望，即所有 X= x 處的香農(nóng)信息量的和，由于每一個(gè)x的出現(xiàn)概率不一樣，需要用p(x) 加權(quán)求和。$$H(P)=?P(x)logP(x)$$信息熵是用于刻畫(huà)消除隨機(jī)變量X的不確定性所需要的總體信息量的大小。

交叉熵（Cross Entropy）
在神經(jīng)網(wǎng)絡(luò)中，交叉熵可以作為損失函數(shù)，因?yàn)樗梢院饬縋和Q的相似性。$$H(P,Q)=?P(x)logQ(x)$$
交叉熵和相對(duì)熵的關(guān)系：$$D(P||Q)=H(P,Q)?H(P)$$

總結(jié)

以上是生活随笔為你收集整理的KL散度、JS散度和交叉熵的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。