KL距離

• 全稱：
  Kullback-Leibler差異（Kullback-Leibler divergence）
• 又稱：
  相對熵（relative entropy）
• 數學本質：
  衡量相同事件空間里兩個概率分布相對差距的測度
• 定義：
  $$D(p||q)=\sum _{x\in X}p(x)log\frac{p(x)}{q(x)}$$
  其中，$p(x)$與$q(x)$是兩個概率分布。

定義中約定：
$0log(0/q)=0$、$plog(p/0)=\infty$

等價形式：
$$D(p||q)=E_p[log\frac{p(X)}{q(X)}]$$

• 說明：

  • 兩個概率分布的差距越大，KL距離越大；
  • 當兩個概率分布相同時，KL距離為0

• 推論：

互信息衡量一個聯合分布與獨立性有多大的差距：
$$\begin{array}{rl}I(X;Y)& =X(X)?H(X|Y)\\ & =?\sum _{x\in X}p(x)logp(x)+\sum _{x\in X}\sum _{y\in Y}p(x,y)logp(x|y)\\ & =\sum _{x\in X}\sum _{y\in Y}p(x,y)log\frac{p(x|y)}{p(x)}\\ & =\sum _{x\in X}\sum _{y\in Y}p(x,y)log\frac{p(x,y)}{p(x)p(y)}\\ & =D[p(x,y)||p(x)p(y)]\end{array}$$

條件相對熵：
$$D[p(y|x)||q(y|x)]=\sum _{x}p(x)\sum _{y}p(y|x)log\frac{p(y|x)}{q(y|x)}$$

相對熵的鏈式法則：
$$D[p(x,y)||q(x,y)]=D[p(x)||q(x)]+D[p(y|x)||q(y|x)]$$

總結

以上是生活随笔為你收集整理的KL距离的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。