《Two-Dimensional PCA: A New Approach to Appearance-Based Face Representation and Recognition》

本人機器學習的論文閱讀部分學習了2D-PCA的原始文獻《Two-Dimensional PCA: A New Approach to Appearance-Based Face Representation and Recognition》以下是自己通過閱讀整理出的PCA和2D-PCA的相關知識，供參考嘻嘻~

一、PCA理解

• PCA作用：降維
  一般情況下，在機器學習中數據被表示為向量，如（a, b, c, d, e)T稱為一條記錄，當記錄的維度成千上萬時會帶來大量的計算。實際發現記錄中的每一列存在相關性，當刪去時對結果的影響很小甚至幾乎為0，因此可對數據進行降維，而降維意味著數據丟失，我們的目的是在降維的同時將信息的損失盡量降低。（引入投影概念，若將每條記錄以坐標的形式投影到一條直線上，重合的數據即為丟失的信息）

• 投影：*(a,b)=|a|*|b|cosθ
  笛卡爾坐標系的坐標其實就是x坐標和y坐標在x軸正方向和y軸的正方向上的投影，這里默認x和y軸為單位向量，即當(a,b)=|a|*|b|*cosθ公式中當|a|為1，即是單位向量時，b在a上的投影就是b的坐標值如下圖。這就將坐標轉換成了投影，我們要獲得不重合的坐標，就要保證投影的向量是盡量不相關的。
  

• 將二維推廣到多維，我們降維的目標就變成了找n維向量在互相正交的向量下的投影坐標。由此目標轉換為找到d個相互正交的向量，由此聯想到矩陣的特征向量。
  
  其中我們的輸入是M個n維列向量，我們將輸入由R個相互正交的向量表示，此時這R個向量是標準正交化后的單位向量，由上面我們推論過的若向量是單位化的，則做乘積后就是原向量在該單位向量上的坐標，所以我們做乘積，獲得新的坐標。（RN）(NM)=(RM)，原始矩陣大小為NM，獲得的轉換后的矩陣為RM，若R<N，則降維的目的實現。此時目標就是找到R個相互正交的標準化后的單位向量。

• 如何確定R個標準正交化的向量-SVD分解
  首先引入方差、協方差的概念：
  
  首先將原問題等價為求最大方差->協方差為0->協方差矩陣對角化，最后我們就要找到協方差矩陣的對角化形式。
  
  這里之所以將特征值按從大到小排列的原因是因為我們要使得方差（即對角線）最大，從另一個角度，我們要找到R個線性無關的特征向量，而矩陣的大部分特征基本上排列在前k大的特征向量中，在論文中也有驗證，所以我們要將其按順序排列。
  接下來就要找矩陣的特征值和特征向量（類似于矩陣的SVD分解）。

• 至此PCA的相關原理就解釋完畢，總結思路就是：
  
  而2D-PCA與PCA的不同之處就是2D-PCA輸入的是矩陣而不是一維向量，以人臉識別為例，2D-PCA輸入的是圖像，而PCA是將圖像轉變為一維向量之后再進行接下來的處理，當圖片很大時，處理成本較高，所以就出現了2D-PCA。

二、2D-PCA

-解題思路是一樣的，只不過在獲得投影向量時使用矩陣而不是向量，在進行原圖像在投影向量上的投影時輸入的是圖像矩陣而不是一維向量。在這篇論文中，他們的輸入、協方差矩陣分別如下：

三、論文涉及的實驗

• 實驗內容：使用三個人臉數據庫對人臉進行識別和重構
  包括特征提取、人臉重構等
  
  人臉重構就是通過提取出的人臉圖像的特征向量，在此基礎上重構回原始的人臉圖像，即用局部還原總體。

• 實驗一（ORL人臉數據庫）
  
  
  在這一部分作者驗證了使用前k大個特征向量作為人臉識別和重構的合理性，從圖中可以看到圖像的大部分信息都集中在前幾個大的特征值中。
  作者還與其他實驗進行了對比實驗，結果2D-PCA基本上都比當時其他識別方法要好。

• 實驗二（AR人臉數據庫）
  

• 實驗三（Yale人臉數據庫）
  

寫在最后

寫給自己看~
（這篇博客主要從數學原理層面解釋了PCA的原理，是本人的第一篇博客，希望以后可以養成寫博客的好習慣，梳理思路的同時也可以為別人提供一丟丟幫助，開森。~ 寫博客也是受到了男朋友的啟發和鼓勵，他是一個很有魅力很優秀的男生，我也要跟上他的腳步。雖是異地，會遇到很多問題，比如自己會想到無法參與彼此的生活呀，不能牽著彼此的手靠著彼此的肩膀呀，不能實際參與到Ta的點點滴滴的生活呀，這些有時會讓人很失落，但是彼此在一起的回憶就顯得更美好，更值得珍惜了呀嘻嘻，要開心快樂地過好自己的生活，我們都會陪著彼此噠。我堅信我們可以長長久久、一直一直牽手走下去的~）

總結

以上是生活随笔為你收集整理的【PCA】2D-PCA原始文献《Two-Dimensional PCA》理解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。