矩陣低秩近似、矩陣范數

根據奇異值分解，秩為 $r$ 的任意矩陣 $A$ 可分解為 $r$ 個簡單矩陣（秩為 $1$） ${\sigma }_i{\mathbf{u}}_i{\mathbf{v}}_i^T$ 之和，且 ${\sigma }_1\ge {\sigma }_2\ge ?{\sigma }_r>0$，按重要性排序，即 $A=U\Sigma V^T={\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^T+?+{\sigma }_r{\mathbf{u}}_r{\mathbf{v}}_r^T$ 。如果我們用秩為 $k<r$ 的矩陣 $B$ 來最優近似矩陣 $A$ ，則 $B$ 為多少呢？大家猜測應該是 $B_k={\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^T+?+{\sigma }_k{\mathbf{u}}_k{\mathbf{v}}_k^T$ 即取 $A$ 前 $k$ 個主成分近似 $A$ ，這個就是 Eckart-Young-Mirsky 定理，稱為矩陣低秩近似定理。

這里面有個問題是，矩陣 $B$ 最優近似矩陣 $A$，那如何度量兩個矩陣相似度？我們度量向量相似度是利用向量范數，即 $\Vert \mathbf{a}?\mathbf{b}\Vert$ 越小則向量越相似。矩陣是一種變換，矩陣越相似則變換也越相似，即同一向量變換后的向量應該越相似，利用這個性質可以定義矩陣相似度。令 ${\mathbf{x}}_A=A\mathbf{x}$ ，${\mathbf{x}}_B=B\mathbf{x}$ ，記 $\Vert A?B\Vert$ 為矩陣相似度度量，為實數，值越小矩陣越相似，稱為矩陣 $A?B$ 范數，則
$$\Vert A?B\Vert =\Vert {\mathbf{x}}_A?{\mathbf{x}}_B\Vert =\Vert A\mathbf{x}?B\mathbf{x}\Vert =\Vert (A?B)\mathbf{x}\Vert$$

當 $\mathbf{x}=0$ 是零向量時，$\Vert A?B\Vert$ 等于 $0$ ，即任意矩陣都完全相似，這顯然不符合常識，故需對向量 $\mathbf{x}$ 進行限定。不失一般性，令 $\Vert \mathbf{x}\Vert =1$ 即 $\mathbf{x}$ 限定為單位向量。

向量 $(A?B)\mathbf{x}$ 的范數隨單位向量 $\mathbf{x}$ 改變而改變，故應該采用 $(A?B)\mathbf{x}$ 最大范數來度量矩陣范數 $\Vert A?B\Vert$ 。

矩陣之差范數 $\Vert A?B\Vert =ma{x}_{\mathbf{x}}\Vert (A?B)\mathbf{x}\Vert$， $\mathbf{x}$ 為單位向量。

根據矩陣 $A?B=U\Sigma V^T$ 奇異值分解，得
$$\begin{gathered} (A?B)\mathbf{x}=(U\Sigma V^T)\mathbf{x} \\ =({\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^T+?+{\sigma }_r{\mathbf{u}}_r{\mathbf{v}}_r^T)\mathbf{x} \\ ={\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^T\mathbf{x}+?+{\sigma }_r{\mathbf{u}}_r{\mathbf{v}}_r^T\mathbf{x} \\ =({\sigma }_1{\mathbf{v}}_1^T\mathbf{x}){\mathbf{u}}_1+?+({\sigma }_r{\mathbf{v}}_r^T\mathbf{x}){\mathbf{u}}_r \end{gathered}$$

由于 ${\mathbf{u}}_i$ 正交，故
$$\begin{gathered} \Vert (A?B)\mathbf{x}\Vert =\Vert ({\sigma }_1{\mathbf{v}}_1^T\mathbf{x}){\mathbf{u}}_1+?+({\sigma }_r{\mathbf{v}}_r^T\mathbf{x}){\mathbf{u}}_r\Vert \\ =\sqrt{({\sigma }_1{\mathbf{v}}_1^T\mathbf{x}{)}^2+?+({\sigma }_r{\mathbf{v}}_r^T\mathbf{x}{)}^2} \\ \le \sqrt{({\sigma }_1{\mathbf{v}}_1^T\mathbf{x}{)}^2+?+({\sigma }_1{\mathbf{v}}_r^T\mathbf{x}{)}^2} \\ ={\sigma }_1\sqrt{({\mathbf{v}}_1^T\mathbf{x}{)}^2+?+({\mathbf{v}}_r^T\mathbf{x}{)}^2} \\ \le {\sigma }_1\sqrt{({\mathbf{v}}_1^T\mathbf{x}{)}^2+?+({\mathbf{v}}_r^T\mathbf{x}{)}^2+?+({\mathbf{v}}_n^T\mathbf{x}{)}^2} \\ ={\sigma }_1\Vert \mathbf{x}\Vert \\ ={\sigma }_1 \end{gathered}$$

所以矩陣之差范數 $\Vert A?B\Vert ={\sigma }_1$，即矩陣 $A?B$ 最大奇異值。

根據矩陣低秩近似定理，$A?B_k={\sigma }_{k+1}{\mathbf{u}}_{k+1}{\mathbf{v}}_{k+1}^T+?+{\sigma }_r{\mathbf{u}}_r{\mathbf{v}}_r^T$ ，故 $\Vert A?B_k\Vert ={\sigma }_{k+1}$ 即最優近似矩陣 $B_k$ 與矩陣 $A$ 之差范數為 ${\sigma }_{k+1}$ ，對其它任意秩為 $k$ 的矩陣 $B$ 均有 $\Vert A?B\Vert \ge \Vert A?B_k\Vert$ 。

根據矩陣之差范數 $\Vert A?B\Vert ={\sigma }_1$，令矩陣 $B=\mathbf{O}$ 為零矩陣，得矩陣范數 $\Vert A\Vert ={\sigma }_1$，即矩陣 $A$ 最大奇異值。 根據范數定義，對任意單位向量 $\mathbf{v}$ 有 $\Vert A\mathbf{v}\Vert \le \Vert A\Vert ={\sigma }_1$ 成立，所以矩陣范數就是變換單位向量的最大長度， $\mathbf{v}={\mathbf{v}}_1$ 時等號成立。

根據范數定義，范數具有如下性質：

齊次性：對任意實數 $k$，$\Vert kA\Vert =|k|\Vert A\Vert$；

范數相融性：對任意向量 $\mathbf{x}$，有 $\Vert A\mathbf{x}\Vert \le \Vert A\Vert \Vert \mathbf{x}\Vert$ 成立。

三角不等式：$\Vert A+B\Vert \le \Vert A\Vert +\Vert B\Vert$ 。

證：根據向量范數三角不等式，對任意單位向量 $\mathbf{x}$ ，$\Vert (A+B)\mathbf{x}\Vert =\Vert A\mathbf{x}+B\mathbf{x}\Vert \le \Vert A\mathbf{x}\Vert +\Vert B\mathbf{x}\Vert$ ，兩邊取范數得證。

矩陣乘積不等式：$\Vert AB\Vert \le \Vert A\Vert \Vert B\Vert$ 。

證：根據范數相融性，對任意單位向量 $\mathbf{x}$ ，$\Vert AB\mathbf{x}\Vert \le \Vert A\Vert \Vert B\mathbf{x}\Vert$ ，兩邊取范數得證。

范數還具有如下性質：$\Vert A^T\Vert =\Vert A\Vert ；\Vert A^{T}A\Vert =\Vert A{A}^T\Vert =\Vert A{\Vert }^2$，$\Vert A{A}^{+}\Vert =\Vert A^{+}A\Vert =1$。
任意正交矩陣 $U,V$，有 $\Vert U\Vert =1；\Vert A\Vert =\Vert UA\Vert =\Vert AV\Vert =\Vert UAV\Vert$ 。

任意可逆矩陣 $A$，有 $\Vert A^{?1}\Vert =1/{\sigma }_n$ ，故 $\Vert A\Vert \Vert A^{?1}\Vert ={\sigma }_1/{\sigma }_n\ge 1$ ，$\Vert A{A}^{?1}\Vert =1$。

根據 ${\sigma }_1=\Vert A\Vert \ge \Vert A\mathbf{v}\Vert$ 可知最大奇異值或矩陣范數很大，大于矩陣任意列向量的長度和任意元素，取 $\mathbf{v}={\mathbf{e}}_i$ 得 ${\sigma }_1=\Vert A\Vert \ge \Vert A{\mathbf{e}}_i\Vert =\Vert {\mathbf{a}}_i\Vert \ge |a_{ji}|$ 。由于 $\Vert A^T\Vert =\Vert A\Vert$ 故最大奇異值或矩陣范數大于矩陣任意行向量的長度。

奇異值有個重要且有趣的結論：任意矩陣 $A$ 有 ${\sigma }_1^2+?+{\sigma }_r^2={\sum }_{ij}{a}_{ij}^2$ 即奇異值平方和等于所有元素平方和，這個相當于能量守恒定律，矩陣能量是為所有元素平方和（類似動能為速度平方），奇異值能量為奇異值平方和。因為 $r?mn$ 可知奇異值很大。
證：根據 $A^{T}A=V{\Sigma }^2{V}^T$ 證明。
$$A^{T}A=?\begin{array}{cc}{\mathbf{a}}_1^{\mathbf{T}}{\mathbf{a}}_1& {\mathbf{a}}_1^{\mathbf{T}}{\mathbf{a}}_2?,{\mathbf{a}}_1^{\mathbf{T}}{\mathbf{a}}_{\mathbf{n}}\\ ?& \\ {\mathbf{a}}_{\mathbf{n}}^{\mathbf{T}}{\mathbf{a}}_1& {\mathbf{a}}_{\mathbf{n}}^{\mathbf{T}}{\mathbf{a}}_2?,{\mathbf{a}}_{\mathbf{n}}^{\mathbf{T}}{\mathbf{a}}_{\mathbf{n}}\end{array}?$$
矩陣 $A^{T}A$ 對角元素之和為 ${\mathbf{a}}_1^{\mathbf{T}}{\mathbf{a}}_1+?+{\mathbf{a}}_{\mathbf{n}}^{\mathbf{T}}{\mathbf{a}}_{\mathbf{n}}={\sum }_{ij}{a}_{ij}^2$ 為所有元素平方和。由于矩陣對角元素之和很重要，為此定義矩陣的跡。
矩陣跡 方陣對角元素之和，記為 $trA={\sum }_i{a}_{ii}$ 。
矩陣跡重要性質：對同型方陣 $A,B$，有 $trAB=trBA$ 成立，這表明矩陣跡滿足矩陣乘法交換律。
則 $tr(V{\Sigma }^2{V}^T)=tr(V^{T}V{\Sigma }^2)=tr({\Sigma }^2)={\sum }_i{\sigma }_i^2$ ，故 ${\sum }_{ij}{a}_{ij}^2={\sum }_i{\sigma }_i^2$ 得證。

現證 $trAB=trBA$ 。
$$trAB={\mathbf{a}}_{\mathbf{r}1}^{\mathbf{T}}{\mathbf{b}}_1+?+{\mathbf{a}}_{\mathbf{r}\mathbf{n}}^{\mathbf{T}}{\mathbf{b}}_{\mathbf{n}}=\sum _{ij}{a}_{ij}{b}_{ji}$$

$$trBA={\mathbf{b}}_{\mathbf{r}1}^{\mathbf{T}}{\mathbf{a}}_1+?+{\mathbf{b}}_{\mathbf{r}\mathbf{n}}^{\mathbf{T}}{\mathbf{a}}_{\mathbf{n}}=\sum _{ij}{b}_{ij}{a}_{ji}=\sum _{ij}{a}_{ij}{b}_{ji}=trAB$$

根據對稱矩陣譜分解定理 $S=Q\Lambda Q^T$，可得矩陣跡另一重要性質，$trS=tr(Q\Lambda Q^T)=tr(Q^{T}Q\Lambda )=tr\Lambda ={\sum }_i{\lambda }_i$ 即對稱矩陣的跡等于特征值之和。

總結

以上是生活随笔為你收集整理的7.4.1 矩阵低秩近似、矩阵范数的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。