UA MATH567 高維統計IV Lipschitz組合9 矩陣函數、半正定序與跡不等式

• • 矩陣函數
  • 半正定序(positive semi-definite order, PSD order)
  • 跡不等式

這一講的目標是提供一些矩陣分析的工具，因為下一講我們要嘗試導出隨機矩陣的Bernstein不等式。

矩陣函數

假設$X$是對稱矩陣，則$X$的所有特征值都是實數，我們可以寫出$X$的譜分解為
$$X=\sum _{i=1}^n{\lambda }_i{u}_i{u}_i^T$$

其中${\lambda }_i$是特征值，$u_i$是對應的特征向量，假設$f$是一個實函數，則我們定義矩陣函數為
$$f(X)=\sum _{i=1}^{n}f({\lambda }_i)u_i{u}_i^T$$

例 多項式與冪級數
i）稱$f(X)$為矩陣多項式如果
$$f(x)=\sum _{i=0}^p{a}_i{x}^i,?x\in \mathbb{R}$$

則
$$f(X)=\sum _{j=1}^m\sum _{i=0}^p{a}_i{\lambda }_j^i{u}_i{u}_i^T=\sum _{i=0}^p{a}_i{X}^i$$

ii）稱$f(X)$為矩陣的指數函數如果$f(x)=e^x$，則
$$f(X)=\sum _{i=1}^m{e}^{{\lambda }_i}{u}_i{u}_i^T=e^X$$

iii）對一般的解析函數，我們通常不能直接把它的表達式套用到矩陣上，而是只能用它的冪級數來表示，如果
$$f(x)=\sum _{i=0}^{\infty }{a}_i(x?x_0{)}^i$$

則
$$f(X)=\sum _{j=1}^{m}f({\lambda }_j)u_j{u}_j^T=\sum _{i=0}^{\infty }{a}_i(X?x_0{I}_n{)}^i$$

半正定序(positive semi-definite order, PSD order)

記$X?0$，如果$X$是半正定矩陣（也就是${\lambda }_i(X)\ge 0$），稱$X?Y$如果$X?Y$是半正定矩陣；這個序關系被稱為半正定序，它是一個偏序關系。關于半正定序有下面的結論（下面給出的證明僅供參考）：

Before proof, let me state several results:

$\Vert A\Vert =s_1(A)=|{\lambda }_1(A)|$, so $\Vert A\Vert \le t$ means $?i$, $|{\lambda }_i(A)|\le t$

According to Courant-Fisher’s min-max theorem, ${\lambda }_i(A)={\max }_{dimE=i}{\min }_{x\in S(E)}?Ax,x?$. If $A?B$, $?x\in S(E)$, $?Ax,x?\le ?Bx,x?$. Thus, ${\lambda }_i(A)\le {\lambda }_i(B)$

Part (a)
If $\Vert X\Vert \le t$, $?i=1,?,n$, $|{\lambda }_i(X)|\le t$, $?t\le {\lambda }_i(X)\le t$. Thus, $X+tI?0,?X+tI?0$, or $?tI?X?tI$.

If $?tI?X?tI$, $X+tI?0,?X+tI?0$, by definition, $?t\le {\lambda }_i(X)\le t,?i$, so $\Vert X\Vert \le t$.

Part (b)
If $\Vert X\Vert \le K$, $?i$, $|{\lambda }_i(X)|\le K$, then $f({\lambda }_i(X))\le g({\lambda }_i(X)),?i$. So $f(X)?g(X)$.

Part (c)
If $X?Y$, $?i$, ${\lambda }_i(X)\le {\lambda }_i(Y)$. Since $f$ is an increasing function, $f({\lambda }_i(X))\le f({\lambda }_i(Y))$, so $f(X)?f(Y)$.

Part (d)
$$X=\left[\begin{array}{cc}1& ?1\\ ?1& ?1\end{array}\right],Y=\left[\begin{array}{cc}?1& ?1\\ ?1& ?1\end{array}\right]$$$$\begin{gathered} {\lambda }_1(X)=\sqrt{2},{\lambda }_2(X)=?\sqrt{2},{\lambda }_1(Y)=0,{\lambda }_2(Y)=?2 \\ {\lambda }_1(X^2)=2,{\lambda }_2(X^2)=0,{\lambda }_1(Y^2)=2,{\lambda }_2(Y^2)=0 \end{gathered}$$

Part (e)
If $X?Y$, $?i$, ${\lambda }_i(X)\le {\lambda }_i(Y)$. Since $f$ is an increasing function, $f({\lambda }_i(X))\le f({\lambda }_i(Y))$, so
$$\sum _{i=1}^{n}f({\lambda }_i(X))\le \sum _{i=1}^{n}f({\lambda }_i(Y))$$

Thus, $trf(X)?trf(Y)$.

Part (f)
If $Y$ is identity matrix, $0?X?I$, $?i$, $0\le {\lambda }_i(X)\le 1$, and then $\frac{1}{{\lambda }_i(X)}\ge 1$. So $X^{?1}?I$.

For arbitrary invertible $Y$, $0?(Y^T{)}^{?1/2}X{Y}^{?1/2}?I$, $(Y^T{)}^{1/2}{X}^{?1}{Y}^{1/2}?I$, so $X^{?1}?Y^{?1}$

Part (g)
For any $t>0$, $0?X?Y$, $?(X+t{)}^{?1}??(Y+t{)}^{?1}$. For $\log (X)={\int }_0^{\infty }(1+t{)}^{?1}?(X+t{)}^{?1}dt$, $\log (X)?\log (Y)$

跡不等式

跡不等式在研究隨機矩陣的概率不等式時非常有用，最主要的原因就是矩陣的乘法不滿足交換律，以Hoeffding不等式的證明為例，對于隨機變量，我們有
$$e^{x+y}=e^x{e}^y$$

于是我們可以把一列隨機變量拆分稱指數的積或者合并到指數上的和，但對于隨機矩陣而言$e^{X+Y}=e^X{e}^Y$不一定成立，所以我們需要能代替乘法交換律的工具，最容易想到的當然就是矩陣的跡了，因為在跡中做矩陣乘法是可以交換次序的，下面介紹兩個常用的跡不等式：

Golden-Thompson不等式 $A,B$是兩個$n$階對稱實矩陣，則
$$tr(e^{A+B})\le tr(e^A{e}^B)$$

Lieb不等式 假設$H$是$n$階對稱實矩陣，定義
$$f(X)=tr(e^{H+\log X})$$

則$f(X)$是$n$階對稱實正定矩陣空間（這是一個convex cone）上的concave function，根據Jensen不等式
$$\begin{gathered} Ef(X)\le f(EX) \\ Etr(e^{H+\log X})\le tr(e^{H+\log EX}) \\ Z=\log X,則Etr(e^{H+Z})\le tr(e^{H+\log E{e}^Z}) \end{gathered}$$

總結

以上是生活随笔為你收集整理的UA MATH567 高维统计IV Lipschitz组合9 矩阵函数、半正定序与迹不等式的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。