（1）信息熵介紹：

對(duì)于連續(xù)型隨機(jī)變量，假設(shè)P為隨機(jī)變量X的概率分布，則p(x)為隨機(jī)變量X在X = x處的概率，隨機(jī)變量X在x處的香農(nóng)信息量為：

?

香農(nóng)信息量用于刻畫消除隨機(jī)變量X在x處的不確定性所需的信息量的大小。很容易看到：當(dāng) X = x 的概率 p (x) 比較大時(shí)，就代表此事發(fā)生的概率比較大，不確定性因素小，從而 f (P) 會(huì)比較小。如隨機(jī)事件“買了彩票卻沒中獎(jiǎng)” 發(fā)生的概率比較大，不需要多少信息量就可以消除不確定性，因此該隨機(jī)事件的香農(nóng)信息量就少。

而信息熵? H(p) 是香農(nóng)信息量? -logp(x)? 的數(shù)學(xué)期望，即所有 X= x 處的香農(nóng)信息量的和，由于每一個(gè)x的出現(xiàn)概率不一樣（用概率密度函數(shù)值p(x)衡量），需要用p(x) 加權(quán)求和。因此信息熵是用于刻畫消除隨機(jī)變量X的不確定性所需要的總體信息量的大小。

其數(shù)學(xué)定義如下：

（2）下面這篇博客介紹了交叉熵，KL散度，JS散度以及它們之間的關(guān)系，寫得很直白（補(bǔ)充：其中的H（X）為信息熵）結(jié)合來(lái)看，應(yīng)該對(duì)這幾者之間的關(guān)系就明確了

https://blog.csdn.net/frankiehello/article/details/80614422

總結(jié)

以上是生活随笔為你收集整理的信息熵，交叉熵，KL散度，JS散度之间的关系的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。