給定一個二維矩陣

先求出該矩陣的特征值與特征向量，特征值分別獲是：，

對應的特征向量為：

（列向量）PS：此處的U是正交矩陣，根據正交矩陣的性質，可以有

如果從定義來理解特征向量的化，某一物體經過該矩陣A變換后，該物體在空間內沿著特征向量的方向上相當于只是發生了縮放。

借用經典的笑臉圖案來進行說明：

（為了方便演示笑臉圖案分布在0-1的單位正方形內，并將兩個特征向量在圖中表示出來，兩個箭頭的方向表示兩個特征向量的方向）（以二維矩陣演示，高維類似）

將這個笑臉圖案經過矩陣A的變換，即用這個圖案中的每個點的坐標和這個矩陣做乘法，得到下面圖案：

由上邊變換后的圖案我們可以看到，笑臉圖案沿著兩個正交的特征向量的方向進行了縮放。

根據特征向量的性質我們知道，（下邊有舉例計算）即，那么可得

特征向量的性質：（后邊分析要用到）

• 線性變換的特征向量是是指在變換下方向不變，或者簡單地乘以一個縮放因子的非零向量。
• 特征向量對應的特征值是它所乘的那個縮放因子。
• 特征空間就是由所有有著相同特征值的特征向量組成的空間，還包括零向量，但要注意零向量本身不是特征向量。
• 線性變換的主特征向量是最大特征值對應的特征向量。
• 特征值的幾何重次是相應特征空間的維數。
• 有限維向量空間上的一個線性變換的譜是其所有特征值的集合。

例如，三維空間中的旋轉變換的特征向量是沿著旋轉軸的一個向量，相應的特征值是1，相應的特征空間包含所有和該軸平行的向量。該特征空間是一個一維空間，因而特征值1的幾何重次是1。特征值1是旋轉變換的譜中唯一的實特征值。

-----------------總結--------------

上述笑臉變換的意思就是：

假設我們把上述的笑臉圖案作為一個矩陣C，那么矩陣可以理解為把矩陣A作用于C，由上述我們可以知道矩陣A可以拆解為（），所以：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

從上述式子我們可以看出A矩陣是從旋轉和沿軸（特征向量作為軸）縮放的角度來作用于C，分成3步理解：

第一步：（C矩陣先左乘）是把特征向量所指的方向分別轉到橫軸和縱軸，即相當于用（對C）進行了變換。（圖片旋轉）

對特征向量進行旋轉相當于將圖片即矩陣C也進行了旋轉。

第二步：（再左乘A）然后把特征值作為縮放倍數，即乘，利用特征值構造一個縮放矩陣，那么矩陣C分別沿著橫軸和縱軸進行縮放。（圖片縮放）

第三步：（再左乘U），由結果可以看出接下來把圖案轉回去。

PS：所以從旋轉和縮放的角度，一個矩陣變換就是，旋轉--->沿坐標軸縮放--->旋轉回來，這三步操作。

PS：以上都是左乘，如果右乘呢？？？

上述給的矩陣A是一個（半）正定矩陣的例子，對于不正定的矩陣也是可以分解為：旋轉--->沿坐標軸縮放--->旋轉，這三步。（不同的是最后一步和第一步的兩個旋轉不是轉回去的關系了），表達式如下：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

這個就是SVD的分解。

-----------矩陣的正定與半正定--------

首先半正定矩陣定義為：，其中X 是向量，M 是變換矩陣

我們換一個思路看這個問題，矩陣變換中，代表對向量 X進行變換，我們假設變換后的向量為Y，記做。于是半正定矩陣可以寫成：

這個是不是很熟悉呢？ 他是兩個向量的內積。 同時我們也有公式：

||X||, ||Y||代表向量 X,Y的長度，是他們之間的夾角。 于是半正定矩陣意味著

(正定、半正定矩陣的直覺代表一個向量經過它的變化后的向量與其本身的夾角小于等于90度。)

向量內積的幾何意義

內積（點乘）的幾何意義包括：

1. 表征或計算兩個向量之間的夾角
2. b向量在a向量方向上的投影

有公式：

判斷兩個向量是否同一方向或正交(即垂直)等方向關系，具體對應關系為：

a?b>0→方向基本相同，夾角在0°到90°之間
a?b=0→ 正交，相互垂直
a?b<0→ 方向基本相反，夾角在90°到180°之間

向量內外積的幾何意義：https://www.cnblogs.com/gxcdream/p/7597865.html

（2）從特征值角度理解：

若所有特征值均不小于零，則稱為半正定。
若所有特征值均大于零，則稱為正定。

? ------>左乘可得

半正定的話：，所以：。（向量x轉置乘x相當于平方肯定大于等于0）

?

?

?

?

總結

以上是生活随笔為你收集整理的机器学习中的数学基础：（1.1）矩阵特征值和特征向量的几何意义的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。