20211017

互信息是相對熵的更寬泛的特殊情形， 通常將互信息最大化就是將兩個隨
機(jī)事件的相關(guān)性最大化， 在機(jī)器學(xué)習(xí)中， 理想情況下， 互信息最大， 就相當(dāng)于
模型訓(xùn)練過后擬合出來的概率分布已經(jīng)等同于真實的概率分布。

20210614

H(x):先驗概率
H(x |y):后驗概率
考察x ,y之間的依賴關(guān)系
如果二者獨立 這 式子的結(jié)果為0 y的發(fā)生對x的發(fā)生沒有影響 H(x)-H(x)=0
如果 影響很大,H(x|y) 因為y的加入 是的 x的不確定性減小 使得 H(x)-H(x|y) 的值增大
H(x) 熵表示事物不確定性的程度 越確定 值越小

1.信息量
2.熵是信息量的期望
3.散度兩個分布越接近 散度值越小 右邊的每一項都接近于1
4.單標(biāo)簽 多分類 一張圖片同時只能是一種判別的可能
5.多標(biāo)簽 多分類 一張圖片同時可以是多種判別的可能
6.上面四五點 二者的公式是不一樣的

https://www.zhihu.com/question/65288314/answer/244557337
https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence
https://jamesmccaffrey.wordpress.com/2013/11/05/why-you-should-use-cross-entropy-error-instead-of-classification-error-or-mean-squared-error-for-neural-network-classifier-training/

實際應(yīng)用中 本質(zhì)上是用的散度衡量兩個分布的相似度,只是因為前部相同就只用了 后半部的交叉熵

總結(jié)

以上是生活随笔為你收集整理的交叉熵理解深度学习互信息的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。