Jensen's Inequality

Jensen’s Inequality中文譯名琴森不等式，要想了解琴森不等式，首先需要知道凸函數(shù)（convex function）與凹函數(shù)（concave function）的概念。 由于凸函數(shù)和凹函數(shù)是相反的概念，因此這里只介紹凸函數(shù)即可。

1 凸函數(shù)的概念

如下圖中的紅色曲線就是一個(gè)凸函數(shù)（可能直觀上來(lái)看這個(gè)曲線是凹的，別弄反了）。

我們?cè)诟咧芯鸵呀?jīng)學(xué)習(xí)過(guò)相關(guān)知識(shí)，這里僅溫習(xí)一下，用數(shù)學(xué)的語(yǔ)言描述凸函數(shù)就是：

如果個(gè)函數(shù)具有如下性質(zhì)：每條弦都位于函數(shù)上或函數(shù)上方，我們就說(shuō)這個(gè)函數(shù)是凸函數(shù)。位于x=a到x=b之間的任何一個(gè)x值都可以寫(xiě)成$\lambda a+(1?\lambda )b$的形式，其中$0\le \lambda \le 1$，弦上的對(duì)應(yīng)點(diǎn)可以寫(xiě)成：$\lambda f(a)+(1?\lambda )f(b)$，函數(shù)上的對(duì)應(yīng)值為$f(\lambda a+(1?\lambda )b)$，這樣凸函數(shù)的性質(zhì)就可以表示為：
$$f(\lambda a+(1?\lambda )b)\le \lambda f(a)+(1?\lambda )f(b)$$
這等價(jià)于要求函數(shù)的二階導(dǎo)數(shù)處處為正。

2 琴森不等式

假設(shè)$f(x)$是區(qū)間$(a,b)$上的凸函數(shù)，則對(duì)任意的$x_1,x_2,...,x_n\in (a,b)$有不等式：
$$f(\frac{x_1+x_2+...+x_n}{n})\le \frac{f(x_1)+f(x_2)+...+f(x_n)}{n}$$
成立，當(dāng)且僅當(dāng)$x_1=x_2=...=x_n$時(shí)等號(hào)成立。

另外，假設(shè)$f(x)$是區(qū)間$(a,b)$上的凸函數(shù)，則對(duì)任意的$x_1,x_2,...,x_n\in (a,b)$，有${\sum }_{i=1}^n{a}_i=1$，且$a_i$均大于0，則有：
$$f(a_1{x}_1+a_2{x}_2+...+a_n{x}_n)\le a_{1}f(x_1)+a_{2}f(x_2)+...+a_{n}f(x_n)$$

巧妙的是，由于有${\sum }_{i=1}^n{a}_i=1$，且$a_i$均大于0的約束，這樣可以將$a_i$看作是隨機(jī)變量$x_i$的概率，上式左側(cè)就剛好是隨機(jī)變量$X$的期望$E(X)$，因此上式等價(jià)于：

$$f(E(X))\le E(f(X))$$

3 證明琴森不等式

那么琴森不等式的結(jié)論如何證明呢？下面使用數(shù)學(xué)歸納法證明。

證明：
已知當(dāng)n=2的時(shí)候，琴森不等式成立，即：
$$f(\lambda a+(1?\lambda )b)\le \lambda f(a)+(1?\lambda )f(b)$$
假設(shè)當(dāng)n=N時(shí)該結(jié)論成立，有：
$$f(\sum _{i=1}^n{a}_i{x}_i)\le \sum _{i=1}^n{a}_{i}f(x_i)$$
只需證明當(dāng)n=N+1時(shí)該結(jié)論仍然成立即可，當(dāng)n=N+1時(shí)，有：

因此，當(dāng)n=N+1時(shí)，不等式仍然成立，即證。

----- 本文完 -----

總結(jié)

以上是生活随笔為你收集整理的琴森不等式及其证明的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。