UA MATH567 高維統(tǒng)計(jì)I 概率不等式10 Bernstein不等式

我們?cè)诮榻B亞高斯分布后介紹了適用于亞高斯分布的推廣的Hoeffding不等式，對(duì)于亞指數(shù)分布，我們可以得到類似的不等式。因?yàn)閬喼笖?shù)分布相對(duì)更具有一般性，因此亞指數(shù)分布的這個(gè)概率不等式是一個(gè)適用性比較廣的不等式。

Bernstein不等式 版本1 假設(shè)$\{X_i{\}}_{i=1}^N$是一列零均值獨(dú)立亞指數(shù)隨機(jī)變量，$?t>0$, $K={\max }_{1\le i\le N}{\Vert X_i\Vert }_{{\psi }_1}$
$$P\left(\left|\sum _{i=1}^N{X}_i\right|\ge t\right)\le 2\exp \left(?c\min \left(\frac{t}{K},\frac{t^2}{{\sum }_{i=1}^N{\Vert X_i\Vert }_{{\psi }_1}^2}\right)\right)$$

其中$c$是一個(gè)常數(shù)。

證明
我們先用Markov不等式討論$P({\sum }_{i=1}^N{X}_i\ge t)$,
$$\begin{gathered} P(\sum _{i=1}^N{X}_i\ge t)=P(e^{\lambda {\sum }_{i=1}^N{X}_i}\ge e^{\lambda t}) \\ \le e^{?\lambda t}E{e}^{\lambda {\sum }_{i=1}^N{X}_i}=e^{?\lambda t}\prod _{i=1}^{N}E{e}^{\lambda X_i} \end{gathered}$$

根據(jù)亞指數(shù)性5，$K_5=c{\Vert X_i\Vert }_{{\psi }_1}$
$$E{e}^{\lambda X_i}\le e^{c^2{\Vert X_i\Vert }_{{\psi }_1}^2{\lambda }^2},?0<\lambda \le 1/K_5$$

要使對(duì)所有的$i$，上式均適用，我們需要進(jìn)一步限制$\lambda$的取值為
$$0<\lambda \le \frac{1}{c{\max }_i{\Vert X\Vert }_{{\psi }_1}}$$

于是
$$\begin{gathered} e^{?\lambda t}\prod _{i=1}^{N}E{e}^{\lambda X_i}\le e^{?\lambda t}\prod _{i=1}^N{e}^{c^2{\Vert X_i\Vert }_{{\psi }_1}^2{\lambda }^2} \\ =\exp (?\lambda t+c^2{\lambda }^2\sum _{i=1}^N{\Vert X_i\Vert }_{{\psi }_1}^2) \end{gathered}$$

接下來，我們要選擇一個(gè)$\lambda$使得這個(gè)上界最小，即我們需要解
$$\underset{0<\lambda \le \frac{1}{c{\max }_i{\Vert X\Vert }_{{\psi }_1}}}{\min }?\lambda t+c^2{\lambda }^2\sum _{i=1}^N{\Vert X_i\Vert }_{{\psi }_1}^2$$

這個(gè)二次函數(shù)的最小值要么在全局最小點(diǎn)處取得，要么在邊界上取得，即
$$\lambda =\frac{1}{c{\max }_i{\Vert X\Vert }_{{\psi }_1}}or\frac{t}{2c^2{\sum }_{i=1}^N{\Vert X_i\Vert }_{{\psi }_1}^2}$$

于是最小的上界為
$$\exp \left(?c\min \left(\frac{t}{K},\frac{t^2}{{\sum }_{i=1}^N{\Vert X_i\Vert }_{{\psi }_1}^2}\right)\right)$$

對(duì)于$P(?{\sum }_{i=1}^N{X}_i\ge t)$，我們可以得到一樣的結(jié)果，這樣就說明了Bernstein不等式 版本1。

---

Bernstein不等式 版本2 假設(shè)$\{X_i{\}}_{i=1}^N$是一列零均值獨(dú)立亞指數(shù)隨機(jī)變量，$a$是一個(gè)常向量，$?t>0$, $K={\max }_{1\le i\le N}{\Vert X_i\Vert }_{{\psi }_1}$
$$P\left(\left|\sum _{i=1}^N{a}_i{X}_i\right|\ge t\right)\le 2\exp \left(?c\min \left(\frac{t}{K{\Vert a\Vert }_{\infty }},\frac{t^2}{K^2{\Vert a\Vert }_2^2}\right)\right)$$

其中$c$是一個(gè)常數(shù)。

說明 我們簡(jiǎn)單比較一下版本1和版本2，版本2試圖討論的是$X_i$的線性組合，我們可以找到版本1和2上界的對(duì)應(yīng)關(guān)系。

根據(jù)亞指數(shù)范數(shù)的正齊次性
$$\sum _{i=1}^N{\Vert a_i{X}_i\Vert }_{{\psi }_1}^2=\sum _{i=1}^N{a}_i^2{\Vert X_i\Vert }_{{\psi }_1}^2\le \sum _{i=1}^N{a}_i^2{K}^2=K^2{\Vert a\Vert }_2^2$$

這體現(xiàn)了版本1中上界$\frac{t^2}{{\sum }_{i=1}^N{\Vert X_i\Vert }_{{\psi }_1}^2}$與$\frac{t^2}{K^2{\Vert a\Vert }_2^2}$的對(duì)應(yīng)關(guān)系。

同樣根據(jù)亞指數(shù)范數(shù)的正齊次性
$$\underset{i}{\max }{\Vert a_i{X}_i\Vert }_{{\psi }_1}=\underset{i}{\max }|a_i|{\Vert X_i\Vert }_{{\psi }_1}\le {\Vert a\Vert }_{\infty }K$$

這體現(xiàn)了版本1中上界$\frac{t}{K}$與$\frac{t}{K{\Vert a\Vert }_{\infty }}$的對(duì)應(yīng)關(guān)系。

如果取$a_i=1/N$，我們可以得到關(guān)于樣本均值的不等式：

Bernstein不等式 版本3 假設(shè)$\{X_i{\}}_{i=1}^N$是一列零均值獨(dú)立亞指數(shù)隨機(jī)變量，$?t>0$, $K={\max }_{1\le i\le N}{\Vert X_i\Vert }_{{\psi }_1}$
$$P\left(\left|\bar{X}\right|\ge t\right)\le 2\exp \left(?cN\min \left(\frac{t}{K},\frac{t^2}{K^2}\right)\right)$$

其中$c$是一個(gè)常數(shù)。

---

Bernstein不等式 版本4 假設(shè)$\{X_i{\}}_{i=1}^N$是一列零均值獨(dú)立亞指數(shù)上界為$K$的隨機(jī)變量，$?t>0$,
$$P\left(\left|\sum _{i=1}^N{X}_i\right|\ge t\right)\le 2\exp \left(?\frac{t^2/2}{{\sigma }^2+Kt/3}\right)$$

${\sigma }^2={\sum }_{i=1}^{N}E{X}_i^2$。這是使用最廣泛的一個(gè)版本，因?yàn)樗芴峁┮粋€(gè)比Hoeffding不等式更小的上界。

總結(jié)

以上是生活随笔為你收集整理的UA MATH567 高维统计I 概率不等式10 Bernstein不等式的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。