文章目錄

• 1 前言
• 2 PCA的原理
• • 2.1 什么是投影
  • 2.2 投影后的方差
  • 2.3 轉化為求特征值的問題
  • 2.4 符號的表示
• 3 KPCA的原理
• 4 PCA和KPCA在Python中的使用
• • 4.1 PCA的使用
  • 4.2 KPCA的使用
• 5 參考文獻

1 前言

主成分分析是在做特征篩選時的重要手段，這個方法在大部分的書中都只是介紹了步驟方法，并沒有從頭到尾把這個事情給說清楚。本文的目的是把PCA和KPCA給說清楚。主要參考了YouTube上李政軒的Principal Component Analysis and Kernel Principal Component Analysis這個視頻（強烈推薦看一下）。

2 PCA的原理

2.1 什么是投影

主成分分析所做的工作就是將數(shù)據(jù)集從高維投影到低維，從而用極少的幾個特征來涵蓋大部分的數(shù)據(jù)集信息。
所謂的投影，就是下圖所示的這樣。

圖1：向量投影圖

$x_j$投影到$v$上的向量為

$$x_j^{\prime }=(||x_j||cos\theta )\frac{v}{||v||}$$

其中，$\theta$為$x_j$與$v$的夾角。
由于向量之間的內積為

$$<x_j,v>=||x_j||?||v||?cos\theta$$

故有

$$x_j^{\prime }=\frac{<x_j,v>}{||v|{|}^2}v$$

如果我們把$v$設置成單位向量的話（即$||v||=1$）就有

$$x_j^{\prime }=<x_j,v>v$$

也就是說我們只要求出$<x_j,v>$就可以知道$x_j$投影到$v$上的大小了。
又由于在坐標當中，內積可以表示為

$$<x_j,v>=x_j^T?v=v^T?x_j$$

故可以用$v^T?x_j$來表示投影后的數(shù)值大小。

2.2 投影后的方差

主成分分析認為，沿某特征分布的數(shù)據(jù)的方差越大，則該特征所包含的信息越多，也就是所謂的主成分。
我們已經(jīng)知道了可以用$v^T?x_j$來表示投影后的數(shù)值大小，那么我們現(xiàn)在就可以算出投影后的方差大小了。注意我們么已經(jīng)把數(shù)據(jù)標準化過了，所以$v^T?x$的均值為$v^T?0=0$。

$${\sigma }^2=\frac{1}{N?1}\sum _{i=1}^N(v^T{x}_i?0{)}^2=\frac{1}{N?1}\sum _{i=1}^N(v^T{x}_i)(v^T{x}_i)$$

注意到$v^T{x}_i$是一個數(shù)值，不是向量，故有$v^T{x}_i=(v^T{x}_i{)}^T$于是

$${\sigma }^2=\frac{1}{N?1}\sum _{i=1}^N{v}^T{x}_i{x}_i^{T}v=v^T(\frac{1}{N?1}\sum _{i=1}^N{x}_i{x}_i^T)v=v^{T}Cv$$

其中，$C=\frac{1}{N?1}{\sum }_{i=1}^N{x}_i{x}_i^T$是一個$m\times m$的矩陣，$m$為特征的個數(shù)。
好了，如果我們要找到最大的方差，也就是要找到一個向量$v$使得方差最大。

2.3 轉化為求特征值的問題

我們可以將求最大方差的問題寫成

$$\begin{gathered} max{v}^{T}Cv \\ s.t.||v||=1 \end{gathered}$$

又由于$||v||=v^{T}v$ ，故上式即

$$\begin{gathered} max{v}^{T}Cv \\ s.t.v^{T}v=1 \end{gathered}$$

利用拉格朗日乘子法可以將上述問題轉化為

$$f(v,\lambda )=v^{T}Cv?\lambda (v^{T}v?1)$$

其中，$f(v,\lambda )$的平穩(wěn)點，和我們所要求的最大方差問題是等價的，即求下述方程式的解

$$?\begin{array}{l}\frac{?f}{?v}=2Cv?2\lambda v=0\\ \frac{?f}{?\lambda }=v^{T}v?1=0\end{array}$$

上述方程組等價于

$$\{\begin{array}{l}Cv=\lambda v\\ ||v||=1\end{array}$$

看到了沒，$Cv=\lambda v$不就是求特征值和特征向量的方程嗎！更神奇的地方在下面，我們再回到最初求最大方差的問題

$$v^{T}Cv=v^T\lambda v=\lambda v^{T}v=\lambda$$

是不是很神奇！要求的方差就是我們這里的特征值！所以我們只需要把$Cv=\lambda v$的特征值求出來，然后按大小排個序就，選出最大的幾個特征值，并求出對應的特征向量，最后用這幾個特征向量來完成數(shù)據(jù)集在其上的投影$v^{T}x$，這樣就完成了特征的篩選！

2.4 符號的表示

值得注意的是，$C$是一個$m\times m$的矩陣

$$C=\frac{1}{N?1}\sum _{i=1}^N{x}_i{x}_i^T=\frac{1}{N?1}[x_1,x_2,...,x_N]?\begin{array}{c}{x}_1^T\\ x_2^T\\ ...\\ x_N^T\end{array}?$$

其中，每個$x_i$為一個列向量

$$x_i=?\begin{array}{c}{x}_i^{(1)}\\ x_i^{(2)}\\ ...\\ x_i^{(m)}\end{array}?$$

其中，$m$為特征的個數(shù)。
為了方便表示，我們作出如下定義

$$X^T=[x_1,x_2,...,x_N]$$

于是，$C$可以表示為

$$C=\frac{1}{N?1}{X}^{T}X$$

3 KPCA的原理

基于核函數(shù)的主成分分析和主成分分析的步驟是一樣的，只不過用核函數(shù)替代了原來的數(shù)據(jù)。這里對什么是核函數(shù)不作說明，請參考其它文章。
對于線性不可分的數(shù)據(jù)集，我們可以將其映射到高維上，再進行劃分。

$$C=\frac{1}{N?1}\sum _{i=1}^N?(x_i)?(x_i{)}^T=\frac{1}{N}[?(x_1),...,?(x_N)]?\begin{array}{c}?(x_1{)}^T\\ ...\\ ?(x_N{)}^T\end{array}?$$

我們令

$$X^T=[?(x_1),...,?(x_N)]$$

那么

$$C=\frac{1}{N?1}{X}^{T}X$$

在這里，$?(x)$我們是不知道的，所以上式是沒法算的。就算知道了，計算成本也太大了。故引入核函數(shù)，我們知道核函數(shù)有

$$K=X{X}^T=?\begin{array}{c}?(x_1{)}^T\\ ...\\ ?(x_N{)}^T\end{array}?[?(x_1),?,?(x_N)]=?\begin{array}{ccc}\kappa (x_1,x_1)& ...& \kappa (x_1,x_N)\\ ?& ?& ?\\ \kappa (x_N,x_1)& ?& \kappa (x_N,x_N)\end{array}?$$

上述的$K$我們根據(jù)核函數(shù)的性質是可以算出來的，現(xiàn)在來看看$K$和$C$之間有沒有關系。
如果要求$K$的特征值和特征向量的話，我們有下式

$$(X{X}^T)u=\lambda u$$

其中，$u$為矩陣$K$的特征向量，$\lambda$為矩陣$K$的特征值。
我們對左右兩邊同時左乘一個$X^T$有

$$X^T(X{X}^T)u=\lambda X^{T}u$$

即

$$(X^{T}X)(X^{T}u)=\lambda (X^{T}u)$$

又由于$(N?1)?C=X^{T}X$，所以我們發(fā)現(xiàn)矩陣$K$和$C$的特征值是相同的，都為$\lambda$，$C$的特征向量為$X^{T}u$。
由于我們希望特征向量是單位向量，所以我們對其做一下單位化

$$v=\frac{1}{||X^{T}u||}{X}^{T}u=\frac{1}{\sqrt{u^{T}X{X}^{T}u}}{X}^{T}u=\frac{1}{\sqrt{u^{T}Ku}}{X}^{T}u=\frac{1}{\sqrt{u^T\lambda u}}{X}^{T}u=\frac{1}{\sqrt{\lambda }}{X}^{T}u$$

在上式中，$\lambda$和$u$可以通過矩陣$K$求得，但是$X^T$仍舊是不可知的。那么$C$的特征向量還是算不出來，難道費了這么大的勁，我們白算了？不急，我們接著往下看。雖然求不出$v$，但是$v$并不是我們的最終目標，我們只要知道$x$在$v$上的投影就可以了

$$v^T?(x_j)=(\frac{1}{\sqrt{\lambda }}{X}^{T}u{)}^T?(x_j)=\frac{1}{\sqrt{\lambda }}{u}^{T}X?(x_j)=\frac{1}{\sqrt{\lambda }}{u}^T?\begin{array}{c}?(x_1{)}^T\\ ?\\ ?(x_N{)}^T\end{array}??(x_j)=\frac{1}{\sqrt{\lambda }}{u}^T?\begin{array}{c}\kappa (x_1,x_j)\\ ?\\ \kappa (x_N,x_j)\end{array}?$$

上式中所有的量都是可以求得的，也就說我們在沒有求出特征向量的情況下，直接算出了樣本在特征向量上的投影！
這樣一來問題就解決了！是不是很神奇！

4 PCA和KPCA在Python中的使用

在python的sklearn包中，已經(jīng)對PCA和KPCA進行了實現(xiàn)，我們只需要調用函數(shù)即可，非常方便。

4.1 PCA的使用

我們用的數(shù)據(jù)集是UCI上關于葡萄酒的數(shù)據(jù)集，得到數(shù)據(jù)集后對其進行預處理，使得其均值為0。

import pandas as pd from sklearn.preprocessing import StandardScalerdf = pd.read_csv('http://archive.ics.uci.edu/ml/machine-learning-databases/wine/wine.data', header=None) x, y = df.iloc[:, 1:].values, df.iloc[:, 0].values sc = StandardScaler() x = sc.fit_transform(x)

這個時候得到的$x$是一個$178\times 13$規(guī)模的數(shù)據(jù)集，也就是說有$13$個特征，每個特征下有$178$個數(shù)據(jù)。
我們用主成分分析法將$13$個特征通過線性組合得到一個$2$個特征的數(shù)據(jù)集。

from sklearn.decomposition import PCApca = PCA(n_components=2) x_pca = pca.fit_transform(x)

然后我們來看下效果

import matplotlib.pyplot as pltplt.scatter(x_pca[y==1, 0], x_pca[y==1, 1], color='red', marker='^', alpha=0.5) plt.scatter(x_pca[y==2, 0], x_pca[y==2, 1], color='blue', marker='o', alpha=0.5) plt.scatter(x_pca[y==3, 0], x_pca[y==3, 1], color='lightgreen', marker='s', alpha=0.5) plt.xlabel('PC1') plt.ylabel('PC2') plt.show()

可以得到

圖2：葡萄酒數(shù)據(jù)主成分分析后效果

很顯然，此時已經(jīng)可以看成是線性可分的數(shù)據(jù)集了，效果不錯。

4.2 KPCA的使用

PCA的使用是有局限性的，如果遇到了，一個像下面這樣的線性不可分的數(shù)據(jù)集，就比較麻煩了。

from sklearn.datasets import make_moonsx2, y2 = make_moons(n_samples=100, random_state=123)plt.scatter(x2_std[y2==0, 0], x2_std[y2==0, 1], color='red', marker='^', alpha=0.5) plt.scatter(x2_std[y2==1, 0], x2_std[y2==1, 1], color='blue', marker='o', alpha=0.5) plt.xlabel('PC1') plt.ylabel('PC2') plt.show()

圖3：非線性不可分的數(shù)據(jù)集

不相信的話我們可以用PCA先試下看

x2_std = sc.fit_transform(x2) x_spca = pca.fit_transform(x2_std)fig, ax = plt.subplots(nrows=1, ncols=2, figsize=(14,6)) ax[0].scatter(x_spca[y2==0, 0], x_spca[y2==0, 1], color='red', marker='^', alpha=0.5) ax[0].scatter(x_spca[y2==1, 0], x_spca[y2==1, 1], color='blue', marker='o', alpha=0.5) ax[1].scatter(x_spca[y2==0, 0], np.zeros((50,1))+0.02, color='red', marker='^', alpha=0.5) ax[1].scatter(x_spca[y2==1, 0], np.zeros((50,1))+0.02, color='blue', marker='o', alpha=0.5) ax[0].set_xlabel('PC1') ax[0].set_ylabel('PC2') ax[1].set_ylim([-1, 1]) ax[1].set_yticks([]) ax[1].set_xlabel('PC1') plt.show()

圖4：PCA在非線性可分數(shù)據(jù)集的效果

從圖中可以看出，經(jīng)過主成分分析之后，數(shù)據(jù)仍舊是線性不可分的。接下來，我們用基于核函數(shù)的主成分分析來試下看。

from sklearn.decomposition import KernelPCAkpca = KernelPCA(n_components=2, kernel='rbf', gamma=15) x_kpca = kpca.fit_transform(x2_std)fig, ax = plt.subplots(nrows=1, ncols=2, figsize=(14,6)) ax[0].scatter(x_kpca[y2==0, 0], x_kpca[y2==0, 1], color='red', marker='^', alpha=0.5) ax[0].scatter(x_kpca[y2==1, 0], x_kpca[y2==1, 1], color='blue', marker='o', alpha=0.5) ax[1].scatter(x_kpca[y2==0, 0], np.zeros((50,1))+0.02, color='red', marker='^', alpha=0.5) ax[1].scatter(x_kpca[y2==1, 0], np.zeros((50,1))+0.02, color='blue', marker='o', alpha=0.5) ax[0].set_xlabel('PC1') ax[0].set_ylabel('PC2') ax[1].set_ylim([-1, 1]) ax[1].set_yticks([]) ax[1].set_xlabel('PC1') plt.show()

圖5：KPCA在非線性可分數(shù)據(jù)集的效果

由圖可知，只需要把數(shù)據(jù)集投影到經(jīng)變換后的特征$PC1$上就可以實現(xiàn)線性劃分了，這個時候只需要一個特征$PC1$就夠了。

5 參考文獻

[1] https://www.youtube.com/watch?v=G2NRnh7W4NQ&t=1s
[2] Raschka S. Python Machine Learning[M]. Packt Publishing, 2015.

總結

以上是生活随笔為你收集整理的主成分分析（PCA）和基于核函数的主成分分析（KPCA）入门的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。