矩阵的奇异值分解
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 矩陣的奇異值分解
矩陣的奇異值分解證明過程中會用到五個定理，先作為補充知識展示這五個定理：
定理一：A是對稱矩陣，則不同特征值對應(yīng)的特征向量是正交的。
————————————————————————————————————————————————————————————————————————————
定理二：矩陣和它的轉(zhuǎn)置具有相同的特征值
證明：因為：
，
即和有相同的特征多項式，所以有相同的特征值。
————————————————————————————————————————————————————————————————————————————
定理三：半正定矩陣的特征值均大于等于零
證明：這是半正定矩陣的定義
————————————————————————————————————————————————————————————————————————————
定理四：若滿足,則稱是單位正交矩陣
單位正交矩陣有如下的性質(zhì)：。
————————————————————————————————————————————————————————————————————————————
定理五：若矩陣的秩為r，則和秩均為r。
————————————————————————————————————————————————————————————————————————————
補充完以上五個定理，我們正式開始矩陣的奇異值分解的證明。
?
設(shè)矩陣,矩陣的秩為,且，則矩陣可以分解為如下形式：
，
?
也可表示為：
證明：無非就是尋找。
顯然，，且這兩個矩陣均是半正定矩陣，且互為轉(zhuǎn)置，且根據(jù)定理五，這兩個矩陣的秩均為。根據(jù)定理二和定理三，這兩個矩陣的特征值是相同的，且均大于等于零。我們只用大于零的特征值。設(shè)(我們按從大到小排序即：)是它們的不為零的特征值，且對于矩陣對應(yīng)的單位特征向量為（），對于矩陣對應(yīng)的單位特征向量為（），即
，。
其實和存在一定的關(guān)系，下面就找出這種關(guān)系。
因為
，
所以，是的特征向量，又因為也是的特征向量，所以，
，
又因為
，
所以：
。
則：
,
所以，
，
那么
下面證明
，
其中代表單位矩陣。
因為是對稱矩陣的不同特征值對應(yīng)的特征向量，根據(jù)定理一，我們得出他們是相互正交的，又因為
，
然后，然后根據(jù)定理四，我們便得到
所以：
。
證畢。
總結(jié)
- 上一篇： 机器学习基础：最优化方法
- 下一篇： 矩阵论基础知识4——强大的矩阵奇异值分解