前面我們介紹了相對熵（KL散度）的概念，知道了它可以用來表示兩個概率分布之間的差異，但有個不大好的地方是它并不是對稱的，因此有時用它來訓練神經網絡會有順序不同造成不一樣的訓練結果的情況（其實個人覺得也就是訓練時間差異罷了，也沒那么嚴重）。為了克服這個問題，有人就提出了一個新的衡量公式，叫做$JS$散度，式子如下：
$$JS\left(P_1\Vert P_2\right)=\frac{1}{2}KL\left(P_1\Vert \frac{P_1+P_2}{2}\right)+\frac{1}{2}KL\left(P_2\Vert \frac{P_1+P_2}{2}\right)$$
如果有一點數學功底的人可以輕易看出這個公式對于$P_1$和$P_2$是對稱的，而且因為是兩個$KL$的疊加，由相對熵的文章我們知道$KL$的值一定是大于等于0的，因此這個公式也一定大于等于0。

現在只剩下一個關鍵問題，就是什么時候等于0的問題了。同樣參考相對熵的文章我們知道當兩個分布相同的時候等于0，那么換到這里，也就是：
$$P_1=\frac{P_1+P_2}{2}且P_2=\frac{P_1+P_2}{2}$$
的時候。可以輕易看出來，$JS$散度等于0的時候跟$KL$散度一樣，就是$P_1$和$P_2$完全一樣的時候。那么推到這里，用$JS$散度來表達兩個概率分布的差異就問題不大了。

其實本人在看相對熵和$JS$散度的時候一直有疑問，就是當兩個概率分布不一樣的時候，它們的值是不是會隨著距離的變大而變大，也就是說這兩個公式跟概率分布的距離到底是不是一個單調的關系，但我沒有看到別人在說這件事情。我自己想了半天之后得出的結論是不一定，可能隨著概率分布的表達式不一樣而有所變化。

當然因為沒有人講這件事我至今也不知道這樣想是不是對的，因此有老哥想明白了麻煩留個言告訴我。

總結

以上是生活随笔為你收集整理的JS散度的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。