從jensen不等式到相對(duì)熵的非負(fù)性性

?前言：在上上次博客我們證明觀測(cè)到的歸一化的頻率就是最大似然估計(jì)的解時(shí)，我們用到了相對(duì)熵恒大于等于0的性質(zhì)，那么本文就當(dāng)是擴(kuò)展一下知識(shí)，主要以證明和介紹為主。
? 首先我們簡(jiǎn)要介紹一下熵的概念。“熵”這一概念并不僅僅存在于物理化學(xué)中，還應(yīng)用于信息論中。熵是結(jié)果不確定度的一種度量。shannon熵定義為：
$H(x)=?{\sum }_{i}P\left(x_i\right)\log P\left(x_i\right)$
其中X為隨機(jī)變量，它在K個(gè)事件$x_1$,$x_2$,$x_k$的離散集合上有概率P($x_i$)
?ps:我們可以試著證明一下當(dāng)其實(shí)均勻分布時(shí)，它的熵值最大。(思路提示：可以用用最小二乘法。具體詳見(jiàn)下篇文章。)
? 相對(duì)熵又稱KL散度，信息散度，是兩個(gè)概率分布間差異的非對(duì)稱性度量。令P(X),Q(X)是隨機(jī)變量X的概率分布，則在其實(shí)離散型隨機(jī)變量的情況下，相對(duì)熵為：
$H(P\Vert Q)={\sum }_{i}P\left(x_i\right)\log \frac{P\left(x_i\right)}{Q\left(x_i\right)}$
? 故我們觀察相對(duì)熵的形式可以發(fā)現(xiàn)，它可以看做是對(duì)數(shù)幾率(計(jì)分矩陣中的分值)的期望，即將P(X)看做是在匹配模型M中的殘基a,b的聯(lián)配概率，而Q(X)看做是無(wú)關(guān)模型中的殘基a,b的獨(dú)立出現(xiàn)的概率。故相對(duì)熵可作為模型的期望分值。
? 回歸本文的主題，即證明相對(duì)熵的正定性。因?yàn)樽C明的過(guò)程中用到了jensen
不等式，所以我們先證明一下jensen不等式。
? jensen不等式在概率論、機(jī)器學(xué)習(xí)、測(cè)度論等有著廣泛的應(yīng)用。
?證明之前我們先了解凸函數(shù)的性質(zhì)：
$tf\left(x_1\right)+(1?t)f\left(x_2\right)\ge f\left(t{x}_1+(1?t)x_2\right)$
$x_1$,$x_2$是凸函數(shù)上的任意兩點(diǎn)，且t屬于[0,1]

證明過(guò)程如下：
? 若對(duì)于任意的點(diǎn)集{$x_i$},若${\lambda }_i$>0,且${\sum }_i{\lambda }_i=1$， 請(qǐng)證明凸函數(shù)f(x)滿足：
$f\left({\sum }_{i=1}^M{\lambda }_i{x}_i\right)\le {\sum }_{i=1}^M{\lambda }_{i}f\left(x_i\right)$
數(shù)學(xué)歸納法進(jìn)行證明：
當(dāng)i=1或2時(shí)，由凸函數(shù)的性質(zhì)一易知該不等式成立。
假設(shè)當(dāng)i=M時(shí)，不等式成立。
現(xiàn)在證當(dāng)i=M+1時(shí)，該不等式也成立。即證明： $f\left({\sum }_{i=1}^{M+1}{\lambda }_i{x}_i\right)\le {\sum }_{i=1}^{M+1}{\lambda }_{i}f\left(x_i\right)$ ?我們首先處理不等號(hào)左邊的式子：
$f\left({\sum }_{i=1}^{M+1}{\lambda }_i{x}_i\right)$ = $f\left({\sum }_{i=1}^M{\lambda }_i{x}_i+{\lambda }_{M+1}{x}_{M+1}\right)$
為了符合凸函數(shù)中t,(1-t)的形式，我們令$a_i=\frac{{\lambda }_i}{1?{\lambda }_{M+1}}$

故 $f\left({\sum }_{i=1}^{M+1}{\lambda }_i{x}_i\right)$=$f\left({\lambda }_{M+1}{x}_{M+1}+\left(1?{\lambda }_{M+1}\right){\sum }_{i=1}^M{a}_i{x}_i\right)$
所以根據(jù)凸函數(shù)的性質(zhì)對(duì)等號(hào)右邊的式子進(jìn)一步處理可得：

$f\left({\sum }_{i=1}^{M+1}{\lambda }_i{x}_i\right)\le {\lambda }_{M+1}f\left(x_{M+1}\right)+\left(1?{\lambda }_{M+1}\right)f\left({\sum }_{i=1}^M{a}_i{x}_i\right)$
根據(jù)我們的假設(shè)當(dāng)i=M,不等式成立得：
$f\left({\sum }_{i=1}^m{a}_i{x}_i\right)?{\sum }_{i=1}^M{a}_{i}f\left(x_i\right)$
所以將上一個(gè)式子帶入上上個(gè)式子中得：
$f\left({\sum }_{i=1}^{M+1}{\lambda }_i{x}_i\right)\le {\lambda }_{M+1}f\left(x_{M+1}\right)+\left(1?{\lambda }_{M+1}\right){\sum }_{i=1}^M{a}_{i}f\left(x_i\right)$

又因?yàn)?span id="ozvdkddzhkzd" class="katex--inline">$a_i=\frac{{\lambda }_i}{1?{\lambda }_{M+1}}$ 代入得：
$f\left({\sum }_{i=1}^{M+1}{\lambda }_i{x}_i\right)?{\lambda }_{M+1}f\left(x_{M+1}\right)+{\sum }_{i=1}^M{\lambda }_{i}f\left(x_i\right)$=${\sum }_{i=1}^{M+1}{\lambda }_{i}f\left(x_i\right)$
?因此當(dāng)i=M+1時(shí)，jensen不等式亦成立。
綜上，jensen不等式成立。同理可證，但函數(shù)為凹函數(shù)時(shí)，jensen不等式的符號(hào)相反。
?jensen不等式可以用來(lái)證明均值不等式、Holder不等式以及柯西不等式。同時(shí)jensen不等式可以用來(lái)證明相對(duì)熵的正定性。
All right, 我們已經(jīng)證明了jensen不等式成立，可以放心的使用啦。
?相對(duì)熵的非負(fù)性性證明：
證明：$H(P\Vert Q)={\sum }_{i}P\left(x_i\right)\log \frac{P\left(x_i\right)}{Q\left(x_i\right)}$ >=0
即證：-$H(P\Vert Q)={\sum }_{i}P\left(x_i\right)\log \frac{P\left(x_i\right)}{Q\left(x_i\right)}$ <=0
即證： ${\sum }_{i}P\left(x_i\right)\log Q\left(x_i\right)+{\sum }_{i}P\left(x_i\right)\log \frac{1}{P\left(x_i\right)}$ <=0
因?yàn)閷(x)看做是自變量，故$\log \frac{1}{P\left(x_i\right)}$可看做是凹函數(shù)。
故在凹函數(shù)下，根據(jù)jensen不等式：
$f\left({\sum }_{i=1}^M{\lambda }_i{x}_i\right)?{\sum }_{i=1}^M{\lambda }_{i}f\left(x_i\right)$
故：
${\sum }_{i}P\left(x_i\right)\log \frac{1}{P\left(x_i\right)}$<=$\log 1$=0
即可證：
-$H(P\Vert Q)={\sum }_{i}P\left(x_i\right)\log \frac{P\left(x_i\right)}{Q\left(x_i\right)}$ <=0
證得：
$H(P\Vert Q)={\sum }_{i}P\left(x_i\right)\log \frac{P\left(x_i\right)}{Q\left(x_i\right)}$>=0

參考資料：劉勇. 關(guān)于詹森不等式證明不等式問(wèn)題[J]. 科教文匯(29期):136-136.

總結(jié)

以上是生活随笔為你收集整理的从jensen不等式到相对熵的非负性性的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。