下面討論$m\times n$的秩為$r$的矩陣

對于不同情況，討論逆矩陣

兩側逆矩陣 2-sided inverse

這也是一般所說的“逆矩陣”的含義
方陣$\mathbf{A}$滿秩$r=m=n$，那么有${\mathbf{A}}^{?1}{\mathbf{A}}^{=}\mathbf{A}{\mathbf{A}}^{?1}=\mathbf{I}$，其中${\mathbf{A}}^{?1}$為兩側逆矩陣（簡稱逆矩陣）

更一般的，對于長方形的矩陣，可以推廣逆矩陣的概念，得到單側逆

單邊逆 one-sided inverse

一般的$n\times m$長方形矩陣，不可能有兩側逆矩陣
原因：假如矩陣向量相乘得到零向量$\mathbf{Ax}=0$，對應于降維的線性變換，沒有逆矩陣能夠還原這個過程；
因此我們說：零空間的存在（$\mathbf{A}$的零空間和${\mathbf{A}}^T$的零空間中有非零向量）毀掉了逆矩陣，而長方形矩陣$\mathbf{A}$和${\mathbf{A}}^T$總有一個的零空間維數不為0（$n?r\ne 0或m?r\ne 0$）

具體在下面的四個子空間討論的部分還會講到

左逆矩陣 Left inverse

矩陣$\mathbf{A}$列滿秩$r=n\le m$，存在左逆矩陣${\mathbf{A}}_{\text{left?}}^{?1}$，滿足${{\mathbf{A}}_{\text{left?}}^{?1}}_{n\times m}{\mathbf{A}}_{m\times n}={\mathbf{I}}_{n\times n}$；
其中左逆矩陣${\mathbf{A}}_{\text{left?}}^{?1}={\left({\mathbf{A}}^T\mathbf{A}\right)}^{?1}{\mathbf{A}}^T$（注意，實際上有很多左逆，這里寫出的是其中一個）

前置知識：
對于長方形矩陣，${\mathbf{A}}^T\mathbf{A}$是很好的觀察對象；
${\mathbf{A}}^T\mathbf{A}$至少為半正定矩陣；當$\mathbf{A}$列滿秩$r=n$時，${\mathbf{A}}^T\mathbf{A}$正定，進而行列式大于0、滿秩、可逆
詳見線性代數學習筆記8-4：正定矩陣

證明：
假如$\mathbf{A}$列滿秩$r=n$，則$({\mathbf{A}}^T\mathbf{A}{)}_{n\times n}$滿秩$r=n$、可逆，則有${\left({\mathbf{A}}^T\mathbf{A}\right)}^{?1}{\mathbf{A}}^T\mathbf{A}=\mathbf{I}$
由上式可得，$\mathbf{A}$的左逆矩陣${\mathbf{A}}_{\text{left?}}^{?1}={\left({\mathbf{A}}^T\mathbf{A}\right)}^{?1}{\mathbf{A}}^T$

注意，上面介紹的左逆矩陣，也是最小二乘法能夠奏效的核心所在
之前說過，根據最小二乘法，$\mathbf{A}\mathbf{x}=\mathbf{b}$無解時，轉而求解${\mathbf{A}}^T\mathbf{A}\hat{\mathbf{x}}={\mathbf{A}}^T\mathbf{b}$，該方程的解$\tilde{\mathbf{x}}$會是“最優解”
實際上，其理論依據就在于，當$\mathbf{A}$列滿秩$r=n$時，${\mathbf{A}}^T\mathbf{A}$為正定矩陣，進而可逆（后一個方程必有解）
詳見線性代數學習筆記8-4：正定矩陣、最小二乘法與半正定矩陣A^T A
后面將會看到，當$\mathbf{A}$不是列滿秩時，我們需要用偽逆矩陣來求最小范數解

右逆矩陣 Right inverse

矩陣$\mathbf{A}$行滿秩$r=m\le n$，存在右逆矩陣${\mathbf{A}}_{\text{right?}}^{?1}$，滿足${\mathbf{A}}_{m\times n}{{\mathbf{A}}_{\text{right}}^{?1}}_{n\times m}={\mathbf{I}}_{m\times m}$；
其中右逆矩陣${\mathbf{A}}_{\text{right}}^{?1}={\mathbf{A}}^T{\left(\mathbf{A}{\mathbf{A}}^{\mathbf{T}}\right)}^{?1}$（注意，實際上有很多右逆，這里寫出的是其中一個）

證明思路和過程類似上面，即基于$\mathbf{A}{\mathbf{A}}^{\mathbf{T}}$的良好性質展開研究

右乘左逆矩陣/左乘右逆矩陣，會發生什么

首先給出結論：右乘左逆矩陣/左乘右逆矩陣，無法得到單位陣$\mathbf{I}$

右乘左逆矩陣的結果為：$\mathbf{A}{\mathbf{A}}_{\text{left?}}^{?1}=\mathbf{A}{\left({\mathbf{A}}^T\mathbf{A}\right)}^{?1}{\mathbf{A}}^T$
這正是將${\mathbf{R}}^m$空間中的向量投影到$\mathbf{A}$的列空間（維度$r$）的投影矩陣${\mathbf{P}}_{m\times m}=\mathbf{A}{\left({\mathbf{A}}^T\mathbf{A}\right)}^{?1}{\mathbf{A}}^T$

• 若希望$\mathbf{A}{\mathbf{A}}_{\text{left?}}^{?1}=\mathbf{I}$，那么等價于要求上述投影矩陣為單位陣（無需投影），對應于$\mathbf{A}$的列空間本身就是整個${\mathbf{R}}^m$空間的情況，即$r=m$的情況（行列都滿秩的方陣，與假設不符）
• 可見，左逆矩陣不可能同時滿足“右逆”，即右乘左逆矩陣無法得到單位陣$\mathbf{I}$，因此$n\times m$長方形矩陣不可能有兩側逆矩陣

同理，左乘右逆矩陣得到${\mathbf{A}}_{\text{right?}}^{?1}\mathbf{A}={\mathbf{A}}^T{\left(\mathbf{A}{\mathbf{A}}^T\right)}^{?1}\mathbf{A}={\mathbf{P}}_{n\times n}$，這就是將${\mathbf{R}}^n$空間中的向量投影到$\mathbf{A}$的行空間（維度$r$）的投影矩陣
可見，右逆矩陣矩陣不可能同時滿足“左逆”，即左乘右逆逆矩陣無法得到單位陣$\mathbf{I}$

小結：逆矩陣存在性與四個子空間的關系

首先，回顧四個子空間的圖像如下

其中，行空間和零空間互為正交補；列空間和左零空間互為正交補

方陣$\mathbf{A}$滿秩$r=m=n$，有兩側逆

矩陣$\mathbf{A}$的零空間維度$n?r=0$、左零空間維度$m?r=0$（只有零向量）；

矩陣$\mathbf{A}$列滿秩$r=n\le m$，有左逆矩陣

矩陣$\mathbf{A}$的零空間維度$n?r=0$

矩陣$\mathbf{A}$行滿秩$r=m\le n$，有右逆矩陣

矩陣$\mathbf{A}$的左零空間$N({\mathbf{A}}^T)$維度$m?r=0$（只有零向量）；

矩陣$\mathbf{A}$行列都不滿秩，即$r<m$且$r<n$

矩陣$\mathbf{A}$的零空間維度$n?r>0$、左零空間維度$m?r>0$

零空間和左零空間都存在，導致了逆矩陣、左逆、右逆都不存在，由此引入偽逆，記為${\mathbf{A}}^{+}$，下面詳細介紹

偽逆矩陣Pseudo-inverse / M-P廣義逆

規律：零空間的存在，導致了逆矩陣不存在

實際上，$\mathbf{A}$是將行空間中向量一一映射到列空間的變換，而“逆矩陣”就是將列空間中向量一一反向映射到行空間的變換

對于${\mathbf{R}}^n$中的所有向量$\mathbf{x}$，可以劃分為兩部分：

位于$\mathbf{A}$的零空間中的$\mathbf{x}$滿足$\mathbf{Ax}=0$；$\mathbf{x}$映射為零向量，這個映射不可逆（零向量與任意矩陣相乘得到零向量）

位于$\mathbf{A}$的行空間中的$\mathbf{x}$滿足$\mathbf{A}\mathbf{x}=\mathbf{u}(\mathbf{u}\ne 0)$，行空間中的$\mathbf{x}$映射為$\mathbf{A}$的列空間中的一個非零向量$\mathbf{u}=\mathbf{Ax}$，且這個映射為一一映射，是可逆的（視為對$\mathbf{A}$的列向量的線性組合）；

可以歸納規律：零空間的存在（$\mathbf{A}$的零空間和${\mathbf{A}}^T$的零空間中有非零向量）導致逆矩陣不存在
原因：

• 從四個子空間角度：
  A. 若零空間不存在，以在行空間和列空間之間建立一一映射，矩陣可逆
  B. 零空間存在時，零空間中的$\mathbf{x}$滿足$\mathbf{Ax}=0$，對應于降維的線性變換，沒有逆矩陣能夠還原這個過程，此時只能找到偽逆/M-P廣義逆${\mathbf{A}}^{+}$，廣義逆使得行空間中的向量$\mathbf{x}$可以被還原${\mathbf{A}}^{+}\mathbf{A}\mathbf{x}=\mathbf{x}$，而零空間中的向量$\mathbf{x}$被$\mathbf{A}$映射為零向量后，只能被${\mathbf{A}}^{+}$再次映射為零向量：${\mathbf{A}}^{+}\mathbf{A}\mathbf{x}=0$
  

• 從SVD角度（若矩陣的SVD為$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$）：

  四個子空間和SVD的關系：

  矩陣的SVD為${\mathbf{A}}_{m\times n}={\mathbf{U}}_{m\times m}{\mathbf{\Sigma }}_{m\times n}{\mathbf{V}}_{n\times n}^T$
  
  圖中紅色部分對應的是$\mathbf{A}$的行空間中的第一部分標準正交基${\mathbf{v}}_i(i=1,2,...,r)$，線性變換$\mathbf{A}$將其映射生成到列空間到中的一組標準正交基，滿足$\mathbf{A}{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i$，${\sigma }_i$組成了紅色部分的對角矩陣${\hat{\mathbf{\Sigma }}}_{r\times r}$
  圖中藍色部分對應零空間中的第二部分標準正交基${\mathbf{v}}_i(i=r+1,r+2,...,n)$，滿足$\mathbf{A}{\mathbf{v}}_i=0$，對應$\mathbf{\Sigma }$中的右下角零元素（這部分對應了將零空間的向量映射到零向量$\mathbf{A}{\mathbf{v}}_i=0$)

  總之，行/列不滿秩，導致了$\mathbf{\Sigma }$出現右下角的0元素部分，進而矩陣和其他矩陣相乘就不可得到單位陣（從而不存在逆矩陣），這再次對應了前面說的“零空間的存在使得逆矩陣不存在”

M-P廣義逆

由上，矩陣$\mathbf{A}$行列都不滿秩（$r<m$且$r<n$）時，既沒有左逆也沒有右逆，此時我們能找到的“最好的逆”就是偽逆矩陣

滿秩方陣才有逆矩陣；
當矩陣不滿秩/矩陣不是方陣，則只有"偽逆/廣義逆"，這是逆矩陣的推廣

若矩陣$\mathbf{A}$的SVD為$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$，那么偽逆矩陣${\mathbf{A}}^{+}=\mathbf{V}{\mathbf{\Sigma }}^{+}{\mathbf{U}}^T$
偽逆滿足：

• $\mathbf{A}{\mathbf{A}}^{+}\mathbf{A}=\mathbf{A}$
• ${\mathbf{A}}^{+}\mathbf{A}{\mathbf{A}}^{+}={\mathbf{A}}^{+}$
• $\mathbf{A}{\mathbf{A}}^{+}={\left(\mathbf{A}{\mathbf{A}}^{+}\right)}^T$
• ${\mathbf{A}}^{+}\mathbf{A}={\left({\mathbf{A}}^{+}\mathbf{A}\right)}^T$

偽逆矩陣的原理：從SVD角度理解

我們從SVD的視角來拆解問題：現在希望求一個偽逆，其與原矩陣的乘積盡可能接近單位陣；
但要注意，當行列都不滿秩（$r<m$且$r<n$）時，矩陣與其他矩陣相乘，不可能得到單位陣，只能盡可能接近；

做SVD后$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$：

• A. 若$\mathbf{A}$滿秩，A=U[σ1?σr]n×nVT\boldsymbol{A}=\boldsymbol{U}\left[\begin{array}{lll} \sigma_{1} & &\\ & \ddots &\\ & & \sigma_{r} \end{array}\right]_{n\times n}\boldsymbol{V}^{T}A=U?σ1????σr???n×n?VT，則矩陣可逆：逆矩陣為${\mathbf{A}}^{?1}=\mathbf{V}{\mathbf{\Sigma }}^{?1}{\mathbf{U}}^T$

• B. 若$\mathbf{A}$行/列不滿秩，A=U[σ10σ2?00]m×nVT\boldsymbol{A}=\boldsymbol{U}\begin{bmatrix} \sigma _1 & & & 0\\ & \sigma _2 & & \\ & & \ddots & \\ 0 & & &0 \end{bmatrix}_{m\times n}\boldsymbol{V}^{T}A=U?σ1?0?σ2????00??m×n?VT(由于上述的零空間的存在，$\mathbf{\Sigma }$的右下角出現0元素)，這從根本上決定了$\mathbf{A}$與其他矩陣相乘，不可能得到單位陣，尋找M-P廣義逆，應保證它與原矩陣的乘積盡可能接近單位陣，故M-P廣義逆${\mathbf{A}}^{+}=\mathbf{V}{\mathbf{\Sigma }}^{+}{\mathbf{U}}^T$，其中Σ+=[1σ101σ2?00]n×m\boldsymbol {\varSigma ^ + } =\begin{bmatrix} \frac{1}{\sigma _1} & & & 0\\ & \frac{1}{\sigma _2} & & \\ & & \ddots & \\ 0 & & &0 \end{bmatrix}_{n\times m}Σ+=?σ1?1?0?σ2?1????00??n×m?，滿足Σ+Σ=[101?00]n×n{\boldsymbol \varSigma ^ + }\boldsymbol \varSigma = \begin{bmatrix} 1 & & & 0\\ & 1 & & \\ & & \ddots & \\ 0 & & &0 \end{bmatrix}_{n\times n}Σ+Σ=?10?1???00??n×n?和ΣΣ+=[101?00]m×m\boldsymbol \varSigma{\boldsymbol \varSigma ^ + } = \begin{bmatrix} 1 & & & 0\\ & 1 & & \\ & & \ddots & \\ 0 & & &0 \end{bmatrix}_{m\times m}ΣΣ+=?10?1???00??m×m?

i.e. 構造偽逆矩陣的思路是，盡量使 $\mathbf{\Sigma }{\mathbf{\Sigma }}^{+}$和${\mathbf{\Sigma }}^{+}\mathbf{\Sigma }$中的左上角的r階對角陣為單位陣（雖然不能得到整個單位陣，但盡量接近單位陣；而$\mathbf{\Sigma }{\mathbf{\Sigma }}^{+}={\mathbf{\Sigma }}^{+}\mathbf{\Sigma }=\mathbf{I}$就是矩陣可逆的情況）

實際上，有很多的偽逆矩陣${\mathbf{\Sigma }}^{+}$都能滿足上述要求（因為$\mathbf{\Sigma }$有右下角的0元素部分，不管${\mathbf{\Sigma }}^{+}$如何，這部分的乘積結果都是0），我們這里選擇的是其中最簡潔、不參雜多余非零元素的一個偽逆矩陣

右乘左逆矩陣/左乘右逆矩陣，會發生什么

對于$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$

$\mathbf{A}$左乘偽逆矩陣，得到$\mathbf{A}{\mathbf{A}}^{+}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T\mathbf{V}{\mathbf{\Sigma }}^{+}{\mathbf{U}}^T=\mathbf{U}\mathbf{\Sigma }{\mathbf{\Sigma }}^{+}{\mathbf{U}}^T$，其中$\mathbf{\Sigma }{\mathbf{\Sigma }}^{+}$左上角包含一個單位陣，如上;

$\mathbf{A}$右乘偽逆矩陣，得到${\mathbf{A}}^{+}\mathbf{A}=\mathbf{V}{\mathbf{\Sigma }}^{+}{\mathbf{U}}^T\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T=\mathbf{V}{\mathbf{\Sigma }}^{+}\mathbf{\Sigma }{\mathbf{V}}^T$，其中${\mathbf{\Sigma }}^{+}\mathbf{\Sigma }$左上角包含一個單位陣，如上；

矩陣 左乘/右乘 偽逆矩陣，都不能得到單位陣，但是能得到投影矩陣（類似上面的右乘左逆矩陣）

• 右乘偽逆，得到投影矩陣$\mathbf{A}{\mathbf{A}}^{+}$（將向量投影到$\mathbf{A}$的列空間）；

例如，對于$\mathbf{A}{\mathbf{A}}^{+}\mathbf{x}=\mathbf{U}\mathbf{\Sigma }{\mathbf{\Sigma }}^{+}{\mathbf{U}}^T\mathbf{x}$
${\mathbf{U}}^T\mathbf{x}$得到向量$\mathbf{x}$在$\mathbf{U}$這個單位正交基上的坐標；
再乘以$\mathbf{\Sigma }{\mathbf{\Sigma }}^{+}$（左上角為r階單位陣）相當于只保留向量$\mathbf{x}$在$\mathbf{U}$這個單位正交基上中屬于$\mathbf{A}$列空間（r維）的那部分；
最后再乘以單位正交基$\mathbf{U}$，就是$\mathbf{x}$在$\mathbf{A}$列空間的投影了

• 左乘偽逆，得到投影矩陣${\mathbf{A}}^{+}\mathbf{A}$（將向量投影到$\mathbf{A}$的行空間）；
• 投影矩陣$\mathbf{\Sigma }{\mathbf{\Sigma }}^{+}$和${\mathbf{\Sigma }}^{+}\mathbf{\Sigma }$的SVD中，左上角都包含一個單位陣，這接近于真正可逆的情況

對比上面的左逆矩陣：矩陣左乘左逆矩陣得到單位陣；右乘左逆矩陣得到將${\mathbf{R}}^m$中的向量投影到列空間的投影矩陣；
這里無論左乘/右乘偽逆，都只能得到一個投影矩陣，但這已經偽逆能做到的最好結果

• 投影矩陣$\mathbf{\Sigma }{\mathbf{\Sigma }}^{+}$和${\mathbf{\Sigma }}^{+}\mathbf{\Sigma }$能將問題帶入很好的空間中（即帶入行空間和列空間，而排除了零空間/左零空間）

總結

以上是生活随笔為你收集整理的线性代数学习笔记10-4：左右逆、伪逆/M-P广义逆（从四个子空间和SVD角度理解）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。