7.4.4 主成分分析 PCA

假設我們研究的對象具有相關屬性，令屬性向量為 $\mathbf{x}=(x_1,x_2,?,x_m)$ 即有 $m$ 個屬性。例如分析學生成績，每個學生有數學、語文、英語、物理、化學等 $5$ 門學科成績，則成績向量為 $\mathbf{x}=(x_1,x_2,?,x_5)$ 即有 $5$ 個屬性。我們收集了 $n$ 個學生的成績，則所有學生成績構成數據矩陣 $A=[{\mathbf{x}}_1,{\mathbf{x}}_2,?,{\mathbf{x}}_n]$ 即數據矩陣每列為一個學生成績向量，共有 $n$ 個向量。本節為了表述方便，把數據矩陣每列向量記為 ${\mathbf{x}}_i$ 或 ${\mathbf{a}}_i$ 。每個學生成績向量是 $m$ 維空間的點，數據矩陣是 $n$ 個點構成的點云。這些點云雖然位于 $m$ 維空間，但大部分情況下位于 $m$ 維空間中低維子空間，因為每個學生成績高度相關，即成績好的學生每門課成績都好，成績差的學生每門課成績都差。由于點云位于低維子空間，所以其真實維度遠小于 $m$ 維。

PCA分析之前，先要對數據進行中心化，即每個新屬性 $x_i^{\prime }＝(x_i?{\bar{x}}_i)$ 其中 ${\bar{x}}_i$ 是屬性平均值。例如學生成績，先計算所有學生數學的平均值，然后新數學成績為數學成績－平均值，其它科目成績同樣處理。數學描述為記 $\bar{\mathbf{x}}$ 為屬性平均值，則新屬性為 ${\mathbf{x}}_i^{\prime }={\mathbf{x}}_i?\bar{\mathbf{x}}$ 。為了簡化符號，把中心化后數據矩陣還是記為 $A$ 。

根據奇異值分解 $A^T{\mathbf{u}}_i={\sigma }_i{\mathbf{v}}_i$ 得
$$(A^T{\mathbf{u}}_i{)}^T{A}^T{\mathbf{u}}_i=({\sigma }_i{\mathbf{v}}_i{)}^T{\sigma }_i{\mathbf{v}}_i={\sigma }_i^2$$

令向量 ${\mathbf{y}}_i=A^T{\mathbf{u}}_i$ ，則其分量 $y_{ij}$ 表示第 $j$ 個學生成績向量 ${\mathbf{x}}_j$ 與向量 ${\mathbf{u}}_i$ 的內積，內積 $y_{ij}$ 可以看作第 $j$ 個學生第 $i$ 門“綜合科目”“加權”成績 ${\mathbf{x}}_j^T{\mathbf{u}}_i=u_{i1}{x}_1+u_{i2}{x}_2+?+u_{im}{x}_m$ ，權重為 $u_{ij}$ ，由于 ${\mathbf{u}}_i$ 為單位向量，故權重的平方和為1。如果把 ${\mathbf{u}}_i$ 加權后的成績 ${\mathbf{y}}_i$ 看作第 $i$ 門“綜合科目”的成績，則學生有 $m$ 門“綜合科目”的成績，稱為新成績。向量 ${\mathbf{y}}_i$ 就是所有學生第 $i$ 門“綜合科目”的成績構成的成績向量，根據 ${\mathbf{y}}_i^T{\mathbf{y}}_i={\sigma }_i^2$ 知其方差為 $\frac{1}{n?1}{\sigma }_i^2$，其中 $n$ 是學生數，由于系數 $\frac{1}{n?1}$ 是固定的，后面為了書寫方便，方差省略該常系數。故每門新成績的方差為 ${\sigma }_1^2,{\sigma }_2^2,?,{\sigma }_m^2$ 。因為數據已經中心化，所以樣本每個屬性的均值為 $0$ ，新屬性的均值也是 $0$ ，所以新屬性的平方就是方差。根據能量守恒定律：奇異值平方和等于所有元素平方和，新成績的方差之和包含了數據矩陣 $A$ 所有的信息。由于 ${\sigma }_1\ge {\sigma }_2\ge ?\ge {\sigma }_m$ 當其前 $k$ 門新成績方差占總方差的 $99\%或99.9\%$ 時，我們可以只用前 $k$ 門新成績表示成績矩陣，達到數據壓縮目的，前 $k$ 門新成績稱為主成分，這就是主成分分析，一般有 $k?m$。$k$ 為點云子空間的維度，是數據矩陣真實維度。第一個主成分最重要，重要性為 ${\sigma }_1^2/{\sum }_i{\sigma }_i^2$，重要性依次減小。

${\mathbf{y}}_i=A^T{\mathbf{u}}_i$ 還可以看作每個樣本點數據 ${\mathbf{a}}_i$ 在 ${\mathbf{u}}_i$ 方向上的投影，所有投影構成向量 ${\mathbf{y}}_i$ ，第一個方向投影${\mathbf{u}}_1$ 的方差最大，故稱為第一主方向，${\mathbf{u}}_2$ 的方差其次，故稱為第二主方向，PCA就是依次找到最大的前 $k$ 個主方向，主成分方向互相正交。

$(A^T{\mathbf{u}}_i{)}^T(A^T{\mathbf{u}}_j)$ 表示第 $i$ 門“綜合科目”和第 $j$ 門“綜合科目”的協方差
$$(A^T{\mathbf{u}}_i{)}^T(A^T{\mathbf{u}}_j)={\mathbf{u}}_i^{T}A{A}^T{\mathbf{u}}_j={\mathbf{u}}_i^T{\sigma }_j^2{\mathbf{u}}_j=0$$

故任意兩門不同的“綜合科目”的協方差為 0，即表示這些科目成績不相關解耦了，所以主成分之間都是解耦的，這是主成分分析的第二個優點。

主成分分析快速證明方法如下：

矩陣 $A{A}^T$ 是什么呢？就是協方差矩陣！第五章介紹過，請大家復習下。
$A{A}^T=U{\Sigma }^2{U}^T$ 得 $U^{T}A{A}^{T}U=(U^{T}A)(U^{T}A{)}^T={\Sigma }^2$ ，令

$$Y=U^{T}A=?\begin{array}{c}{\mathbf{u}}_1^{T}A\\ ?\\ {\mathbf{u}}_m^{T}A\end{array}?$$

即為“綜合科目”成績矩陣，由 $Y{Y}^T={\Sigma }^2$ 知第 $i$ 門“綜合科目”方差為 ${\sigma }_i^2$，第 $i$ 門“綜合科目”和第 $j$ 門“綜合科目”的協方差為 0 ，數據矩陣 $Y$ 的前 $k$ 行向量

$$Y=U^{T}A=?\begin{array}{c}{\mathbf{u}}_1^{T}A\\ ?\\ {\mathbf{u}}_k^{T}A\end{array}?$$

即為主成分。由 $Y=U^{T}A$ 即對數據矩陣 $A$ 進行旋轉變換 $U^T$ 得到主成分 $Y$ ，矩陣 $Y$ 的每列數據為每個學生新成績向量。所以 PCA 算法本質上是對數據點云進行旋轉變換，變換后數據矩陣的協方差矩陣為對角陣 ${\Sigma }^2$ ，即各個主成分無相關性。

數據矩陣重構

假設選出前 $k$ 個主成分方向 ${\mathbf{u}}_1,?,{\mathbf{u}}_k$ ，樣本 ${\mathbf{a}}_i$ 對應的主成分（坐標）為 ${\mathbf{a}}_i^T{\mathbf{u}}_1,?,{\mathbf{a}}_i^T{\mathbf{u}}_k$ ，則利用主成分重構樣本 ${\mathbf{a}}_i$ 為：
$$\begin{gathered} {\mathbf{a}}_i^C={\mathbf{u}}_1{\mathbf{a}}_i^T{\mathbf{u}}_1+?+{\mathbf{u}}_k{\mathbf{a}}_i^T{\mathbf{u}}_k \\ =({\mathbf{u}}_1{\mathbf{u}}_1^T+?+{\mathbf{u}}_k{\mathbf{u}}_k^T){\mathbf{a}}_i \\ =U_k{U}_k^T{\mathbf{a}}_i \end{gathered}$$

數據矩陣 $A$ 的重構矩陣為 $A^C=U_k{U}_k^{T}A=PA$ ，其中矩陣 $P$ 是投影矩陣，所以PCA分析本質上就是投影變換，是線性變換。重構殘差為 $\Delta A=A?U_k{U}_k^{T}A=(E?U_k{U}_k^T)A$ ，重構殘差一般是由噪聲引起的，故主成分方向獲得的重構數據矩陣具有去噪效果。因為每個重構樣本 ${\mathbf{a}}_i^C$ 均位于 $k$ 維子空間內，故重構矩陣 $A^C$ 也位于 $k$ 維子空間內，即 $rank{A}^C=k$ ，重構矩陣 $A^C$ 是所有秩為 $k$ 的矩陣中與原矩陣 $A$ 最接近的矩陣，這和矩陣低秩近似結論一致。當 $k=rankA=r$ 時即取所有主成分方向，則重構殘差為零。

幾何圖像

根據每個樣本點數據 ${\mathbf{a}}_i$ 在第一主方向 ${\mathbf{u}}_1$ 上的投影的方差最大，知樣本點在此方向最分散，為第一主方向，最大方差為最大奇異值平方。第二主方向垂直于第一主方向，且投影方差第二大，方差為第二大奇異值平方。第三主方向垂直于第一和第二主方向，且投影方差第三大，方差為第三大奇異值平方。依此類推。

點云位于 $m$ 維空間，假設存在一個超橢球可以緊密包圍點云，注意是最緊密的，超橢球軸不一定和坐標軸平行，則超橢球第一長軸對應的方向就是第一主方向，第二長軸對應的方向就是第二主方向，依此類推。注意長軸長度不是對應奇異值，但正相關，即長軸長度越長則對應奇異值越大。舉個例子，假設樣本有3個屬性，則點云位于3維空間，三維橢球包圍了點云，則橢球第一長軸方向就是第一主方向，第二長軸對應的方向就是第二主方向，依此類推。由于橢球是三維的，故有三個主成分。

總結

以上是生活随笔為你收集整理的7.4.4 主成分分析 PCA的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。