簡介

在UFLDL中介紹了主成分分析這一塊的知識，而且當時學機器學習的時候，老師是將PCA和SVD聯系起來將的，同時UFLDL也講到了使用PCA做數據白化whitening處理，這個詞經常在論文里面看到。

國際慣例，參考博客：

UFLDL的PCA章節

PRML的第12.1 PCA章節

知乎深入理解PCA與SVD的關系

PCA and SVD explained with numpy

Relationship between SVD and PCA. How to use SVD to perform PCA?

百度百科正交投影

知乎正交投影

SVD（奇異值分解）小結

特征分解

協方差矩陣一定是滿秩的嗎？

PCA、ZCA白化

PCA理論

在PRML中給出了PCA的兩種定義：

• 數據在低維線性空間上的正交投影，這個線性空間被稱為主子空間，使得投影數據的方差被最大化
• 平均投影代價最小的線性投影。其中平均投影代價是數據點與投影點之間的平均平方距離。

如下圖就是將二維數據投影一維空間$u_1$中

上圖中紅色的二維數據點被正交投影到主子空間(紫色的線)，PCA的目的就是想讓投影后的數據(綠色點)具有最大的方差。 其中正交投影被神乎其神的說了一大堆理論，其實就是投影線垂直于投影面。

通常情況下，我們都是用第一個定義去理解PCA的，設每個樣本都有D個屬性，即D維向量，總共有N個樣本。

第一步將數據投影到D維向量$u_1$上，一般來說我們設這個$u_1$是D維空間中的方向向量：
$$\hat{x}=u_1^{T}x$$
第二步求投影方差
$$\frac{1}{N}\{u_1^T{x}_n?u_1^T\bar{x}{\}}^2=u_1^{T}S{u}_1$$
其中$\bar{x}$所有樣本均值$\bar{x}=\frac{1}{N}{\sum }_{n=1}^N{x}_n$，注意不是每個樣本所有屬性求均值。

其中$S$是原數據集的協方差矩陣：
$$S=\frac{1}{N}\sum _{n=1}^N(x_n?\bar{x})(x_n?\bar{x}{)}^T$$
【注】協方差反映的是屬性與屬性之間的關系，而非樣本與樣本之間的關系。

第三步約束

上面我們經常約束$u_1$是方向向量，那么
$$u_1^T{u}_1=1$$
結合這個約束以及為了讓方差最大化的目標，可以利用拉格朗日乘數法建立下式：
$$u_1^{T}S{u}_1+{\lambda }_1(1?u_1^T{u}_1)$$
當上式導數為零時，駐點滿足
$$S{u}_1={\lambda }_1{u}_1$$
很容易發現$u_1$一定是$S$的特征向量，同時也能發現當${\lambda }_1$越大，方差越大。所以最大特征值對應的特征向量為第一主成分。同理就能利用特征分解的方法求解到第二、三、…主分量。

綜上，可以得到PCA的一般步驟為：

• 整理原始矩陣$X_{n\times m}$ ，代表n個樣本，每個樣本維度為m

• 求原始矩陣$X_{n\times m}$的協防差陣$S_{m\times m}=Cov(X)$

• 求解協防差陣的特征值和特征向量。

• 選取最大的K(人為給定)個特征值所對應的特征向量組成構成矩陣$W_{m\times k}$

• 直接進行矩陣計算，就得到了降維后的數據

$$Z_{n\times k}=X_{n\times m}{W}_{m\times k}$$

SVD 理論

一般來說實對稱矩陣可以被分解為$A=Q\sum Q^T$的形式，其中$Q$為標準正交矩陣，$\sum$對角陣，對角陣上的元素${\lambda }_i$是矩陣A的特征值，對應的特征向量是$Q_i$

那么如果矩陣$A$為非實對稱矩陣的時候，有沒有類似的
$$A=U\Sigma V^T$$
奇異值分解(singular value decomposition，SVD)做的就是這件事。在SVD的官方術語中,U是$(n,n)$維的方陣稱為左奇異向量；$\Sigma$是$(n,m)$的對角陣，對角線上的元素稱為奇異值；V 是$(m,m)$維度的方陣稱為右奇異向量，并且U和V均為單位正交矩陣，$U{U}^T=1$且$V{V}^T=1$

求解方法就是利用$A{A}^T$與$A^{T}A$都是對稱陣的特性，得到：
$$\begin{gathered} A{A}^T=U\Sigma {\Sigma }^T{U}^T \\ {A}^{T}A=V{\Sigma }^T\Sigma V^T \end{gathered}$$
這樣就能求解出U、$\Sigma$、V。

這篇文章里面有例子。

PCA和SVD的關系

摘自此處，通過協方差矩陣的求解方法建立聯系：

在SVD中：
$$S=A^{T}X=V\Sigma U^{T}U\Sigma V^T=V{\Sigma }^2{V}^T=V{\Sigma }^2{V}^{?1}$$
而在PCA中：
$$S=u_1{\lambda }_1{u}_1^{?1}$$
所以：
$$\begin{gathered} \lambda ={\Sigma }^2 \\ u=V \end{gathered}$$
這一點可以通過代碼驗證：

a=np.array([[1,5,7],[2,3,6],[5,9,3]]) C = np.dot(a.T, a)eigen_vals,eigen_vecs = np.linalg.eig(C) u,sigma,v=np.linalg.svd(a,full_matrices=False,compute_uv=True)print(eigen_vals,sigma**2) ''' [208.58666048 1.52969164 28.88364788] [208.58666048 28.88364788 1.52969164] '''eigen_vecs ''' array([[-0.34088613, -0.85005392, -0.40150339],[-0.72034757, 0.51060491, -0.46944862],[-0.60406625, -0.12919347, 0.78639241]]) '''v.T ''' array([[-0.34088613, -0.40150339, -0.85005392],[-0.72034757, -0.46944862, 0.51060491],[-0.60406625, 0.78639241, -0.12919347]]) '''

使用PCA對mnist數據集降維

其實在這里遇到一個問題：使用eig對手寫數字數據集的協方差矩陣求解特征值時得到了復數特征值和特征向量，這一點暫時沒弄明白，但是使用svd可以得到正常的特征值和特征向量。

sklearn中的pca

from sklearn.decomposition import PCA pca = PCA(n_components=2) result = pca.fit_transform(data)

得到結果圖

numpy手撕PCA

def PCA_numpy(X):#零均值化print(X.shape)X=X-X.mean(axis=0)## 使用特征值和特征向量#協方差矩陣#cov_X = np.cov(X,rowvar=0)#每一列一個特征#eig_val,eig_vec = np.linalg.eig(cov_X) #出現復數了##使用svdU,eig_val,eig_vec = np.linalg.svd(X)#選兩個最大的idx = np.argsort(-eig_val)temp_M=[]for i in range(2):temp_M.append(eig_vec[idx[i]])temp_M = np.array(temp_M).Tresult = np.dot(X,temp_M)return result

同樣得到結果值

這個圖里面每個顏色代表手寫數字數據集里面的0-9數字。

ZCA白化

在UFLDL中還介紹了基于PCA的白化(whitening或者球化sphering)方法，白化的目標有兩個：

• 特征之間具有盡量少的相關性
• 特征具有相同的方差

針對第一個目標，前面的使用PCA降維$x=u^{T}x$已經達到了效果。

針對第二個目標，讓每個輸入特征值都具有單位方差(unit variance)，只需要除以特征值的開根號即可：
$$x_{pcai}=\frac{x_i}{\sqrt{{\lambda }_i}}$$
降維數據的第i列對應第i個特征值。這時候，數據的協方差就是單位陣，這就是所說的PCA白化(數據的不同成分無聯系并且具有單位方差)。

但是我們第二個目標其實是具有相同方差，而具有相同的單位方差并不是唯一的一個情況，也可能是具有相同的非單位方差。在ZCA白化中，又對pca白化做了一次左乘：
$$x_{zca}=u{x}_{pca}$$
這樣雖然把方差不再是1了，但是變換后的數據更加接近原始數據。

有一點需要注意：PCA可以用于降維(取前面一部分主成分)，但是zca必須保持原有的維度不變，zca只做去相關，不做降維。

后記

這個學習筆記主要是針對機器學習里面常見的降維方法PCA進行剖析和逐步實現，具體代碼包括手寫數字的讀取和最終降維圖的畫圖，請參看公眾號簡介中的github網址。后續將持續更新其它機器學習理論和算法，敬請關注：

總結

以上是生活随笔為你收集整理的PCA、SVD、ZCA白化理论与实现的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。