發現以前學的東西特別容易忘，還是得騰個地兒寫一寫，有新的理解會繼續補充。

信息等基礎見下面一篇博

http://leijun00.github.io/2014/07/information-theory/

https://www.cnblogs.com/fantasy01/p/4581803.html

相對熵就是KL散度，表示q分布和p分布有多接近，越小越接近，就是p，q兩者之間的交叉熵減去p自己的熵要越小，說明p，q兩者之間的交叉熵就相當于是p自己的熵。p，q相同，則就相當于是p一個分布的熵。

H(p,q)即為交叉熵

表示2個函數或概率分布的差異性：差異越大則相對熵越大，差異越小則相對熵越小，特別地，若2者相同則熵為0。注意，KL散度的非對稱性。

https://blog.csdn.net/u014465639/article/details/71637477

?

互信息

互信息其實就是所說的信息增益。

https://blog.csdn.net/tsyccnh/article/details/79163834

http://www.cnblogs.com/ooon/p/5707889.html

等有時間再徹底整理一下

總結

以上是生活随笔為你收集整理的【机器学习基础知识】各类熵总结的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。