應用矩陣分析1 子空間分析1 線性子空間基礎

• 基本理論
• • 正交分解
  • 子空間的正交投影
• 應用舉例
• • 離散信號的Casorati矩陣
  • 正交多分辨率分析
  • Orthogonal Procrustes Problem

這個系列介紹矩陣分析的應用，相關線性代數基礎會作簡單介紹，但主要篇幅還是按專題的形式介紹矩陣分析相關結果在實際問題中的應用。

在優化、近似、回歸等問題中，很多時候我們就是在試圖找最優的子平面來近似raw data space。比如dimensional reduction，就是找一個最優子空間，使得用高維數據在最優子空間上的投影作為對高維數據的近似只有很少或幾乎沒有information loss。因此子空間的分析的應用方法是解決這類問題的基礎。這一講我們先回顧一下與子空間相關的線性代數結論。

基本理論

考慮數域$F$上的線性空間$V$。

定義一 向量組$\{v_1,?,v_m\}$張成的子空間 (subspace) 記為
$$W=span\{v_1,?,v_m\}=\{w=\sum _{i=1}^m{\alpha }_i{v}_i:?{\alpha }_i\in \mathbb{R}\}$$

稱$v_1,?,v_m$為generator，稱$S=\{v_1,?,v_m\}$為spanning set。

定理一 (Spinning set theorem): $W$與$S$的最大線性無關組張成的子空間相同。

定義二 稱$S$的最大線性無關組為$W$的一組基，最大線性無關組包含的向量數目為$W$的維數，用$dim(W)$表示，$S$與$W$的基都不是唯一的。

正交分解

定義三 假設$W_1,W_2$是$V$的線性子空間，稱$W_1\oplus W_2$為$W_1,W_2$的直和
$$W_1\oplus W_2=\{w_1+w_2:w_1\in W_1,w_2\in W_2\}$$

定理二 （線性空間的直和分解）存在一列$V$的無交線性子空間$W_1,?,W_p$，使得
$$V=W_1\oplus ?\oplus W_p$$

此時$V$中的向量$x$存在唯一分解，
$$x=w_1+w_2+?+w_p$$

定義四 稱子空間$W_1$與$W_2$正交，如果$?w_1\in W_1,w_2\in W_2$，$w_1\perp w_2$。記為$W_1\perp W_2$。

定理三（線性空間的正交分解） $W$是$V$的一個子空間，$?!W^{\perp }$滿足$W\perp W^{\perp }$，$W^{\perp }$是$V$的子空間并且
$$V=W\oplus W^{\perp }$$

稱這是$V$的正交分解，稱$W^{\perp }$為$W$的正交補。需要注意的是正交比無交更強，正交的子空間一定無交，但無交子空間不一定正交，因此正交分解是一種特殊的直和分解。

定義五 $S?V$為矩陣$A$的不變子空間，如果$?x\in S$, $Ax\in S$。如果$A$是方陣，$\lambda$是$A$的一個特征值，顯然$N(A?\lambda I)$是$A$的不變子空間，我們稱這個不變子空間為矩陣$A$的特征值$\lambda$對應的特征子空間。其中$N(A?\lambda I)$叫做$A?\lambda I$的核空間，
$$N(A?\lambda I)=\{x\in V:(A?\lambda I)x=0\}$$

定理四（線性空間的特征分解）$A$是$V$上的一個線性變換的矩陣表示，則$V$可以分解為$A$的特征子空間的直和，對于給定的線性變換，這種分解是唯一的。

子空間的正交投影

定義六 稱$P:V\to S,S?V$為（從$V$到$S$的）正交投影算子，如果

$C(P)=S$，$P$的像空間等于$S$，$C(P)=\{Px:?x\in V\}$被稱為像空間或者列空間

$P^2=P$，$P$是冪等矩陣

$P^H=P$，$P$是Hermite矩陣

定理五 （正交投影算子的性質）

從一個線性空間到其某個子空間的正交投影算子是唯一的；

$I?P$是從$V$到$S^{\perp }$的正交投影算子

如果$S=span(A)$，則$P=A(A^{\prime }A{)}^{?}{A}^{\prime }$

在比較構造正交投影的數值算法時，一個非常常用的工具是比較投影向量與子空間的夾角，我們可以定義向量與子空間的夾角為
$$\theta (x,S)=\underset{y\in S}{\min }\arccos \frac{|(x,y)|}{{\Vert x\Vert }_2{\Vert y\Vert }_2},?x\in V,S?V$$

$\theta (x,S)=\theta (x,Px)$

應用舉例

離散信號的Casorati矩陣

定義七 假設$u_1(k),?,u_m(k)$是一組離散信號，定義矩陣
$$C=?\begin{array}{cccccc}{u}_1(k)& u_2(k)& u_3(k)& ?& u_{m?1}(k)& u_m(k)\\ u_1(k+1)& u_2(k+1)& u_3(k+1)& ?& u_{m?1}(k+1)& u_m(k+1)\\ u_1(k+2)& u_2(k+2)& u_3(k+2)& ?& u_{m?1}(k+2)& u_m(k+2)\\ ?& ?& ?& ?& ?& ?\\ u_1(k+m?2)& u_2(k+m?2)& u_3(k+m?2)& ?& u_{m?1}(k+m?2)& u_m(k+m?2)\\ u_1(k+m?1)& u_2(k+m?1)& u_3(k+m?1)& ?& u_{m?1}(k+m?1)& u_m(k+m?1)\end{array}?$$

這個矩陣被稱為離散信號的Casorati矩陣，它的行列式被稱為Casorati行列式，如果存在一個$k$使得$|C|=0$，就稱這組離散信號線性無關。

正交多分辨率分析

定義八 假設$u(t)$是一個平方可積信號，即$u(t)\in L^2(\mathbb{R})$，取$L^2(\mathbb{R})$的一列遞增的子空間$V_j,j\in \mathbb{Z}$，則根據定理三，存在
$$V_{j+1}=V_j\oplus W_j$$

其中$W_j=V_j^{\perp }$，稱$V_j$和$W_j$分別為分辨率$2^{?j}$的尺度子空間與小波子空間。這樣可以實現在$V_1,W_1,?,W_n,?$中分別構造對信號$u(t)$的近似，這種分析方法是正交多分辨率分析。

Orthogonal Procrustes Problem

假設我們對同一個對象進行了兩次測量，測量結果分別為$A,B$，我們希望找一個正交矩陣$Q$使得
$$\underset{Q^{\prime }Q=I}{\min }{\Vert A?BQ\Vert }_F$$

之所以要考慮這個問題是因為我們希望在不改變測量數據的scale與內部線性相關性的前提下剔除掉第二次測量的“測量誤差”，使得兩次數據更具可比性。從幾何上看，我們試圖達成的是讓$C(B)$中的向量經過一定的正交變換（旋轉、軸反射等）可以與$C(A)$的某個向量基本重合。

關于Frobenius范數有一個比較有用的構造，對于任何矩陣$M$，
$${\Vert M\Vert }_F^2=\sum _i\sum _j{M}_{ij}^2=tr(M^{T}M)$$

因此
$$\begin{gathered} {\Vert A?BQ\Vert }_F^2=tr((A?BQ{)}^{\prime }(A?BQ)) \\ =tr(A^{\prime }A)+tr(Q^{\prime }{B}^{\prime }BQ)?2tr(Q^{\prime }{B}^{\prime }A)=tr(A^{\prime }A)+tr(B^{\prime }B)?2tr(Q^{\prime }{B}^{\prime }A) \end{gathered}$$

所以上面的最小化等價于最大化$tr(Q^{\prime }{B}^{\prime }A)$。對$B^{\prime }A$做奇異值分解，$B^{\prime }A=U\Sigma V^{\prime }$，
$$tr(Q^{\prime }{B}^{\prime }A)=tr(Q^{\prime }U\Sigma V^{\prime })=tr(V^{\prime }{Q}^{\prime }U\Sigma )\le tr(\Sigma )$$

當且僅當$Q=U{V}^{\prime }$時取等。

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的应用矩阵分析1 子空间分析1 线性子空间基础的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。