散度

• KL散度
• • 定義
  • 特性
  • 公式
  • • • 離散
      • 連續
  • 機器學習
• JS散度
• • 出現的原因
  • 公式
  • 特性
  • 問題
• 交叉熵（Cross Entropy）
• • 定義
  • 公式
  • 和KL散度的關系

KL散度

定義

KL(Kullback-Leibler divergence)散度用來描述兩個概率分布P和Q的差異的一種方法，也叫做相對熵(relative entropy)。

特性

1.KL具有非對稱性，即D(P||Q) ≠ D(Q||P)。

2.非負性：因為對數函數是凸函數，所以 KL散度的值為非負數。

3.KL散度不滿足三角不等式: KL(A,B) > KL(A,C)+KL(C,B)

公式

離散

連續

機器學習

在機器學習領域，是用來度量兩個函數的相似程度或者相近程度。

JS散度

出現的原因

KL散度時不對稱的，訓練神經網絡會因為不同的順序造成不一樣的訓練結果，為了克服這個問題，提出了JS散度。

公式

特性

1.對稱

2.非負

3.值域范圍

JS散度的值域范圍是[0,1]，相同則是0，相反為1。相較于KL，對相似度的判別更確切了。

問題

當兩個概率分布不一樣的時候，它們的值是不是會隨著距離的變大而變大。兩個概率分布完全不一樣的時候，距離是log(2)

交叉熵（Cross Entropy）

定義

交叉熵描述了兩個概率分布之間的距離，當交叉熵越小說明二者之間越接近。

盡管交叉熵刻畫的是兩個概率分布之間的距離，但是神經網絡的輸出卻不一定是一個概率分布。為此我們常常用Softmax回歸將神經網絡前向傳播得到的結果變成概率分布。

公式

在神經網絡中，交叉熵可以作為損失函數，因為它可以衡量P和Q的相似性。

和KL散度的關系

總結

以上是生活随笔為你收集整理的KL散度、JS散度 的理解以及一些问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。