在上一篇文章中，空間變換和基變換已經被詳細討論過了。特別是基變換，從兩個角度看待它對理解特征值分解和奇異值分解會起到很大的幫助。

阿姆斯特朗：矩陣分析(一)：空間變換與基變換?zhuanlan.zhihu.com

一、特征值與特征向量

上一節談到了形如

這種式子代表基變換，其說明的是在不同的基下相同的變換如何轉化。所以容易想到是否存在這樣一組基向量：在這組基下表示的變換最簡單。

對于一些變換來說，選擇合適的基向量，那么變換相當于只有伸縮沒有旋轉，那么

就會是對角矩陣。 中的列向量都是 的特征向量。

如下圖，變換后，藍色向量及于其平行的向量都沒有改變方向，只有伸縮，那么藍色向量就是其中一個特征向量，1是對應的特征值（長度沒變）。而紅色向量則不是特征向量，因為發生了旋轉。但是這個剪切變換無法進行特征值分解，因為只有“一個”特征向量不能張成這個二維平面。

只有在一定條件下（如其矩陣形式為實對稱矩陣的線性變換），一個變換可以由其特征值和特征向量完全表述，也就是說：所有的特征向量組成了這向量空間的一組基底。

如下圖中，變換矩陣為

,可以發現 是一組線性無關的特征向量，因為變換對他們來說只是放縮作用。而 被放大了3倍， 長度沒有變化。所以對應的特征值一個是3，一個是1。

也就是

而特征值不僅僅存在于線性代數，在解方程以及信號處理中都有很大的意義。畢竟尋找特征向量其實就是尋找變換或者函數中固有的量或者不變量，它們能代表一些本質的東西。例如信號處理中傅里葉變換用

來分解信號，而 恰好是線性系統的特征向量。

特征值分解又稱為矩陣對角化，但是不是所有的矩陣都可以對角化。譜定理描述了什么樣的矩陣可以被對角化。

二、奇異值分解SVD

上文中提到過，有些矩陣不能被特征值分解。那么SVD就是一種廣義的特征值分解。它可以對任何

矩陣進行分解。

• 推導

以2*2實矩陣為例。若變換

不能找到特征向量。那么考慮是否可以找到一組單位正交向量 使得變換后得到的兩個向量仍然是正交的。如下圖：

若選擇

為變換后的兩個向量的單位向量， 分別為它們的長度，那么即可表示為下式:

而因為單位正交向量

組成正交矩陣 (列向量)，那么它一定存在逆矩陣且為 。（實數矩陣中用轉置即可，不需用共軛轉置）

所以

• 定義

假設 是一個m×n階矩陣，其中的元素全部屬于域K，也就是實數域或復數域。如此則存在一個分解使得 。
其中 是m×m階酉矩陣； 是m×n階非負實數對角矩陣；而 ，即 的共軛轉置，是n×n階酉矩陣。這樣的分解就稱作M的奇異值分解。 對角線上的元素 即為 的奇異值。

而根據我前面所寫，

中是輸入的單位正交向量， 中是輸出的單位正交向量， 對角線上的值為放縮倍數。如下圖

三、對SVD的兩種理解

• 從矩陣分解的角度

直接觀察

，即可直接將其理解為把復雜的變換分解為3個連續的變換 、 、 。如下圖

這三個變換都是有意義的。第一個變換

將單位正交向量 轉到水平和垂直方向、 相當于對 進行放縮、將放縮后的向量旋轉到最后的位置。（應該知道正交矩陣的作用都是旋轉矩陣）如下圖所示：

• 從基變換的角度理解

特征值分解是一種基變換。而觀察特征值分解與奇異值分解的形式，可以看到它們之間很相似。

特征值分解：

奇異值分解：

其實奇異值分解也可以視作是一種特征值分解。

是其“特征向量”，在這組“基”表示下，原本很復雜的變換 可以被變為一個相對簡單的變換 。 包含兩個變換，一個是對基向量的伸縮，一個是旋轉 。（若空間維度發生了變化，還包括投影）即

（不準確，只做理解用）

所以說，也可以認為奇異值分解將標準正交基下的向量變為了在

下表示的向量，然后應用相同的變換 ,然后變到標準正交基。只不過 包含兩個變換，伸縮和旋轉 ，而 恰好等于 。

若是考慮在原空間選擇一組基，在像空間選擇另一組基，那么就有以下：

• 引用wiki上的幾何意義：

因為U和V都是酉的，我們知道U的列向量u1,...,um組成了

空間的一組標準正交基。同樣，V的列向量v1,...,vn也組成了 空間的一組標準正交基（根據向量空間的標準點積法則）。

矩陣

代表從 到 的一個線性映射 ： 。通過這些標準正交基，這個變換可以用很簡單的方式進行描述：

，其中 是 中的第 個對角元。當 時, 。

這樣，SVD分解的幾何意義就可以做如下的歸納：對于每一個線性映射

， 的奇異值分解在原空間與像空間中分別找到一組標準正交基，使得 把 的第 個基向量映射為 的第 個基向量的非負倍數，并將 中余下的基向量映射為零向量。換句話說，線性變換 在這兩組選定的基上的矩陣表示為 ，即所有對角元均為非負數的對角矩陣。

如果你覺得有收獲，就點個贊吧！

參考：

[1]https://en.wikipedia.org/wiki/Eigenvalues_and_eigenvectors

[2]https://en.wikipedia.org/wiki/Singular_value_decomposition#Geometric_meaning

[3]Feature Column from the AMS

總結

以上是生活随笔為你收集整理的ker矩阵是什么意思_矩阵分析(二)：从特征值到奇异值的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。