UA MATH567 高維統計I 概率不等式5 推廣Hoeffding不等式

我們在第一講時討論了Hoeffding不等式，但那個版本時針對有界的隨機變量的，我們希望通過亞高斯性推廣Hoeffding不等式。

結論 獨立亞高斯分布的和的亞高斯范數：假設$\{X_i{\}}_{i=1}^N$是一列零均值獨立亞高斯隨機變量，則${\sum }_{i=1}^N{X}_i$也是亞高斯隨機變量，并且存在與$N$無關的常數$C$使得
$${\Vert \sum _{i=1}^N{X}_i\Vert }_{{\psi }_2}^2\le C\sum _{i=1}^N{\Vert X_i\Vert }_{{\psi }_2}^2$$

證明 要說明一個隨機變量是亞高斯的，只需要驗證它滿足亞高斯性即可，計算
$$E{e}^{\lambda {\sum }_{i=1}^N{X}_i}=\prod _{i=1}^{N}E{e}^{\lambda X_i}$$

因為$X_i$是亞高斯的，于是
$$E{e}^{\lambda X_i}\le e^{(c_1{\Vert X_i\Vert }_{{\psi }_2}{)}^2{\lambda }^2}$$

其中$K_5=c_1{K}_4=c_1{\Vert X_i\Vert }_{{\psi }_2}$，因此
$$E{e}^{\lambda {\sum }_{i=1}^N{X}_i}\le e^{c_1^2{\lambda }^2{\sum }_{i=1}^N{\Vert X_i\Vert }_{{\psi }_2}^2}$$

其中$c_1^2{\sum }_{i=1}^N{\Vert X_i\Vert }_{{\psi }_2}^2$是一個常數，因此${\sum }_{i=1}^N{X}_i$也是亞高斯的，并且對于${\sum }_{i=1}^N{X}_i$而言這個就是$K_5$，于是存在常數$c_2$使得
$${\Vert \sum _{i=1}^N{X}_i\Vert }_{{\psi }_2}\le c_2{c}_1\sqrt{\sum _{i=1}^N{\Vert X_i\Vert }_{{\psi }_2}^2}$$

這個${\Vert {\sum }_{i=1}^N{X}_i\Vert }_{{\psi }_2}$就是${\sum }_{i=1}^N{X}_i$的$K_4$，根據這個結果以及均值不等式，當然存在常數$C$，使得
$${\Vert \sum _{i=1}^N{X}_i\Vert }_{{\psi }_2}\le C\sum _{i=1}^N{\Vert X_i\Vert }_{{\psi }_2}$$

證畢

評注1 統計學理論經常需要比較兩個量的階，所以下面這些符號會經常用到：對于兩個正實序列$\{a_n\},\{b_n\}$

$a_n～b_n$: ${\lim }_n(a_n/b_n)=1$

$a_n?b_n$: $0<{\lim }_n(a_n/b_n)<1$

$a_n?b_n$: ${\lim }_n(a_n/b_n)>1$

$a_n?b_n$: $0<\mathrm{liminf}(a_n/b_n)\le \mathrm{limsup}(a_n/b_n)<\infty$

$a_n?b_n$: ${\lim }_n(a_n/b_n)=0$

General Hoeffding’s inequality 假設$\{X_i{\}}_{i=1}^N$是一列零均值獨立亞高斯隨機變量，存在一個常數$c$使得，
$$P\left(\left|\sum _{i=1}^N{X}_i\right|\ge t\right)\le 2\exp \left(?\frac{c{t}^2}{{\sum }_{i=1}^N{\Vert X_i\Vert }_{{\psi }_2}^2}\right)$$

如果$a$是一個常向量，則
$$\begin{gathered} P\left(\left|\sum _{i=1}^N{a}_i{X}_i\right|\ge t\right)\le 2\exp \left(?\frac{c{t}^2}{{\sum }_{i=1}^N{a}_i^2{\Vert X_i\Vert }_{{\psi }_2}^2}\right) \\ \le 2\exp \left(?\frac{c{t}^2}{{\Vert a\Vert }_2{K}^2}\right) \end{gathered}$$

其中$K=\max {\Vert X_i\Vert }_{{\psi }_2}$。

Khintchine不等式 假設$\{X_i{\}}_{i=1}^N$是一列零均值獨立亞高斯隨機變量，$a$是一個常向量，$?p\ge 2$，$K={\max }_{1\le i\le N}{\Vert X_i\Vert }_{{\psi }_2}$
$${\Vert a\Vert }_2\le {\Vert \sum _{i=1}^N{a}_i{X}_i\Vert }_{L^p}?K\sqrt{p}{\Vert a\Vert }_2$$

如果$p=1$，則
$$c(K){\Vert a\Vert }_2\le {\Vert \sum _{i=1}^N{a}_i{X}_i\Vert }_{L^1}\le {\Vert a\Vert }_2$$

其中$c(K)$是一個與$K$有關的常數。

總結

以上是生活随笔為你收集整理的UA MATH567 高维统计I 概率不等式5 推广Hoeffding不等式与Khintchine不等式的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。