目錄

• Jensen不等式
• • Jensen的推導

Jensen不等式

Jensen不等式，又名琴森不等式或詹森不等式（均為音譯）。它是一個在描述積分的凸函數值和凸函數的積分值間的關系的不等式。它的一般形態是：

1.當且僅當$f(x)$為下凸函數時有
$$f(\sum _{i=1}^n{\lambda }_i{x}_i)\le \sum _{i=1}^n{\lambda }_{i}f(x_i),\sum _{i=1}^n{\lambda }_i=1,{\lambda }_i\ge 0$$
2.當且僅當$f(x)$為上凸函數時有
$$f(\sum _{i=1}^n{\lambda }_i{x}_i)\ge \sum _{i=1}^n{\lambda }_{i}f(x_i),\sum _{i=1}^n{\lambda }_i=1,{\lambda }_i\ge 0$$

它的最簡單形態是：
1.當且僅當$f(x)$為下凸函數時有
$$f(\frac{x_1+x_2}{2})\le \frac{1}{2}f(x_1)+\frac{1}{2}f(x_2)$$
2.當且僅當$f(x)$為上凸函數時有
$$f(\frac{x_1+x_2}{2})\ge \frac{1}{2}f(x_1)+\frac{1}{2}f(x_2)$$

Jensen的推導

一般采用數學歸納法進行Jensen不等式的推導和證明。
以下凸函數為例，先看$n=2$時的情形。

當$n=2$時，有
$$f({\lambda }_1{x}_1+{\lambda }_2{x}_2)\le {\lambda }_{1}f(x_1)+{\lambda }_{2}f(x_2),{\lambda }_1+{\lambda }_2=1$$(這個易證，在最后給出證明。)

假設在$n?1$時依然有$$f(\sum _{i=1}^{n?1}{\lambda }_i{x}_i)\le \sum _{i=1}^{n?1}{\lambda }_{i}f(x_i),\sum _{i=1}^{n?1}{\lambda }_i=1,{\lambda }_i\ge 0$$成立

在$n$時
$$f(\sum _{i=1}^n{\lambda }_i{x}_i)=f(\sum _{i=1}^{n?1}{\lambda }_i{x}_i+{\lambda }_n{x}_n)=f[(1?{\lambda }_n)x_N+{\lambda }_n{x}_n]\le (1?{\lambda }_n)f(x_N)+{\lambda }_{n}f(x_n),\sum _{i=1}^n{\lambda }_i=1$$
其中，
$$x_N=\sum _{i=1}^{n?1}{m}_i{x}_i,\sum _{i=1}^{n?1}{m}_i=1;$$
$$(1?{\lambda }_n)m_i={\lambda }_i,i=1,2,...,n?1;$$
從而，
$$(1?{\lambda }_n)\sum _{i=1}^{n?1}{m}_i{x}_i=\sum _{i=1}^{n?1}{\lambda }_i{x}_i;$$
$$(1?{\lambda }_n)\sum _{i=1}^{n?1}{m}_{i}f(x_i)=\sum _{i=1}^{n?1}{\lambda }_{i}f(x_i);$$
繼續，
$$\begin{gathered} (1?{\lambda }_n)f(x_N)+{\lambda }_{n}f(x_n)=(1?{\lambda }_n)f(\sum _{i=1}^{n?1}{m}_i{x}_i)+{\lambda }_{n}f(x_n) \\ \le (1?{\lambda }_n)\sum _{i=1}^{n?1}{m}_{i}f(x_i)+{\lambda }_{n}f(x_n)=\sum _{i=1}^{n?1}{\lambda }_{i}f(x_i)+{\lambda }_{n}f(x_n)=\sum _{i=1}^n{\lambda }_{i}f(x_i) \end{gathered}$$
從而得到，
當且僅當$f(x)$為下凸函數時有
$$f(\sum _{i=1}^n{\lambda }_i{x}_i)\le \sum _{i=1}^n{\lambda }_{i}f(x_i),\sum _{i=1}^n{\lambda }_i=1,{\lambda }_i\ge 0$$

這一切的一切必須要在最開始$n=2$成立才可以得到這種結論。
現在證明$n=2$時的一般情形。

令$$g(\lambda )=\lambda f(x_1)+(1?\lambda )f(x_2)?f[\lambda x_1+(1?\lambda )x_2],\lambda \in [0,1]$$
要證$$f({\lambda }_1{x}_1+{\lambda }_2{x}_2)\le {\lambda }_{1}f(x_1)+{\lambda }_{2}f(x_2),{\lambda }_1+{\lambda }_2=1$$
只需證：$g(\lambda )\ge 0$即可。（這里$\lambda ={\lambda }_1,1?\lambda ={\lambda }_2$）
現在來研究一下這個$g(\lambda )$函數
$$g^{\prime }(\lambda )=f(x_1)?f(x_2)?f^{\prime }[\lambda x_1+(1?\lambda )x_2](x_1?x_2)$$
如果令$g^{\prime }({\lambda }_0)=0,{\lambda }_0\in [0,1]$
可以得到一個關系式$$f^{\prime }[{\lambda }_0{x}_1+(1?{\lambda }_0)x_2]=\frac{f(x_1)?f(x_2)}{x_1?x_2}$$
其實這個式子表述的意義就是拉格朗日中值定理
但還不夠，再求一階導試試。
$$g^{\prime \prime }(\lambda )=?f^{\prime \prime }[\lambda x_1+(1?\lambda )x_2](x_1?x_2{)}^2$$
我們知道，$f(x)$在這里是下凸的，意味著它的二階導數在它的定義域內有$f^{\prime \prime }(x)\ge 0$
從而可以知道$g^{\prime \prime }(\lambda )\le 0$
這說明$g^{\prime }(\lambda )$在它的定義域內是一個單調遞減函數
詳細一點，$$\begin{gathered} g^{\prime }(\lambda )\ge 0,當且僅當\lambda \in [0,{\lambda }_0] \\ {g}^{\prime }(\lambda )\le 0,當且僅當\lambda \in [{\lambda }_0,1] \end{gathered}$$
那么說明${\lambda }_0$是$g(\lambda )$的極大值點,并且僅有這一個極大值點
則，
$$g({\lambda }_0)\ge g(\lambda )\ge min\{g(0),g(1)\}=0,\lambda \in [0,1]$$
到此證明完成。

總結

以上是生活随笔為你收集整理的Jensen不等式简介及推导的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。