• 矩陣
  SVD 矩陣的乘法狀態(tài)轉(zhuǎn)移矩陣
  狀態(tài)轉(zhuǎn)移矩陣

• 特征值和特征向量
  對(duì)稱(chēng)陣
  正交陣
  正定陣數(shù)據(jù)白化

• 矩陣求導(dǎo)
  向量對(duì)向量求導(dǎo)
  標(biāo)量對(duì)向量求導(dǎo)
  標(biāo)量對(duì)矩陣求導(dǎo)
  

一.矩陣

1.1 SVD

奇異值分解（Singular Value Decomposition），假設(shè)A是一個(gè)m×n階矩陣，則存在一個(gè)分解使得Σ對(duì)角線上的元素稱(chēng)為矩陣A的奇異值；U的第i列稱(chēng)為A的關(guān)于σi的左奇異向量； V的第i列稱(chēng)為A的關(guān)于σi的右奇異向量。
通常將奇異值由大而小排列。如此Σ便能由M唯一確定了。（雖然U和V仍然不能確定）。而且奇異值的減少特別的快，在很多情況下，前10%甚至1%的奇異值的和就占了全部的奇異值之和的99%以上了。也就是說(shuō)，我們也可以用前r大的奇異值來(lái)近似描述矩陣，那么SVD就起到一個(gè)特征選擇的作用或者是降維的作用。
具體描述參考：http://blog.csdn.net/zhongkejingwang/article/details/43053513

1.2 代數(shù)余子式

在一個(gè)n階行列式A中,把(i,j)元素a_ij所在的第i 行和第j列劃去后，留下的n-1階方陣的行列式叫做元素a_ij的余子式，記作M_ij

注意：行列式是數(shù)值，因此余子式和代數(shù)余子式也是數(shù)值；余子式可能也可能是負(fù)數(shù)。

?

1.3 伴隨矩陣

注意：位于第j行i列

?

1.4? 方陣的逆

當(dāng)方陣的行列式不為0時(shí)，有：

如果不是方正，請(qǐng)參考矩陣的廣義逆

?

1.5 范德蒙行列式

1.6 矩陣的乘法

為階的矩陣，為階的矩陣，那么，是階的矩陣，其中

1.7 矩陣和向量的乘法

• 為階的矩陣，為階的矩陣，則 為的列向量，記
• 由于維列向量和n維空間的點(diǎn)一一對(duì)應(yīng)，上式實(shí)際給出了從維空間的點(diǎn)到維空間的的線性變換。
  
  • 旋轉(zhuǎn)、平移

1.8 狀態(tài)轉(zhuǎn)移矩陣

數(shù)學(xué)解釋：
設(shè)一個(gè)初始概率分布（只是一個(gè)向量）
- 第代中處于第個(gè)階層的概率為：

原理：全概率公式：?參考馬爾科夫過(guò)程：https://blog.csdn.net/u010459100/article/details/51657955

1.9.矩陣的秩

• 在的矩陣A中，任取行列，不改變這個(gè)元素在中的次序，得到階方陣，稱(chēng)為矩陣的k階子式。
• 設(shè)在矩陣A中有一個(gè)不等于的階子式，且所有階子式全等于（如果存在的話），那么稱(chēng)為矩陣的最高階非零子式，稱(chēng)為矩陣的秩，記作
  
  • 如果一個(gè)矩陣那么可以說(shuō)這個(gè)矩陣式滿(mǎn)秩的
  • 的可逆矩陣，秩為n
    矩陣的秩等于它的行列向量組的秩

1.91 秩和線性方程組的解的關(guān)系

對(duì)于n元線性方程組Ax = b：

• 無(wú)解的充要條件是
• 唯一解的充要條件是
• Ax= 0的只有零解的充要條件是
• 無(wú)窮解的充要條件是
• Ax= b有解的充要條件是
• Ax= 0的非零解的充要條件是

1.10向量組

向量b能由向量組線性表示的充
要條件是矩陣的秩等于矩陣
的秩。

因?yàn)橛薪獾臈l件是秩相等。

=

• 若向量組A與向量組B能相互線性表示，則稱(chēng)兩個(gè)向量組等價(jià)。

1.11系數(shù)矩陣

參考：https://blog.csdn.net/IOThouzhuo/article/details/50836787

二.特征值和特征向量

2.1正交陣

• 若階矩陣A滿(mǎn)足,稱(chēng)A為正交矩陣，簡(jiǎn)稱(chēng)正交陣。
  
  • 是正交陣的充要條件：A的列（行）向量都是單位向量，且兩兩正交。
• 是正交陣，X為向量，則Ax稱(chēng)作正交變換。
  
  • 正交變換不改變向量長(zhǎng)度。

2.2特征值和特征向量

A是n階矩陣，若數(shù)和n維非0列向量滿(mǎn)足，那么，數(shù)稱(chēng)為A的特征向值，x稱(chēng)為A的對(duì)應(yīng)于特征值的特征向量。

• 根據(jù)定義，立刻得到，令關(guān)于的多項(xiàng)式為0，方程的根為的特征值；將根帶入方程組，求得到的非零解，即對(duì)應(yīng)的特征向量。
• 設(shè)階矩陣的特征值為,則
  
  • 
    
    • 矩陣A的主行列式的元素和，稱(chēng)作矩陣A的跡?

推論：

不同特征值對(duì)應(yīng)的特征向量，線性無(wú)關(guān)。

實(shí)對(duì)稱(chēng)陣的特征值也是實(shí)數(shù)。

實(shí)對(duì)稱(chēng)陣不同的特征值的特征向量正交

2.3 合同變換

設(shè)A為n階對(duì)稱(chēng)陣，則必有正交陣P，使得

?

2.4.正定陣

對(duì)于階方陣，若任意階向量，都有，則稱(chēng)是正定陣。

• 由一階推廣而來(lái)：
• 若條件變成，則稱(chēng)作半正定矩陣。

---

正定陣的判定：
- 對(duì)稱(chēng)陣A為正定陣；
- A的特征值都為正；
- A的順序主子式大于0；

2.5 漂白/白化whitening暫定

三. 矩陣求導(dǎo)

參考：https://blog.csdn.net/IOThouzhuo/article/details/50836787

總結(jié)

以上是生活随笔為你收集整理的机器学习知识总结系列-机器学习中的数学-矩阵（1-3-2）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。