轉(zhuǎn)自：http://www.madio.net/forum-redirect-goto-nextnewset-tid-47409.html

奇異值分解是線性代數(shù)中一種重要的矩陣分解，在信號處理、統(tǒng)計學(xué)等領(lǐng)域有重要應(yīng)用。

定義：設(shè)A為m*n階矩陣，A^HA的n個特征值的非負平方根叫作A的奇異值。記為σ_i(A)。

如果把A^HA的特征值記為λ_i(A)，則σ_i(A)＝λ_i(A^HA)^(1/2)。

定理:（奇異值分解）設(shè)A為m*n階復(fù)矩陣，則存在m階酉陣U和n階酉陣V，使得:?A = U*S*V’

其中S=diag(σ_i,σ₂,……,σ_r)，σ_i>0? (i=1,…,r)，r=rank(A)

推論：設(shè)A為m*n階實矩陣，則存在m階正交陣U和n階正交陣V，使得:A = U*S*V’

其中S=diag(σ_i,σ₂,……,σ_r)，σ_i>0? (i=1,…,r)，r=rank(A)

說明：

?

1、奇異值分解非常有用，對于矩陣A(m*n)，存在U(m*m)，V(n*n)，S(m*n)，滿足A = U*S*V’。U和V中分別是A的奇異向量，而S是A的奇異值。AA'的正交單位特征向量組成U，特征值組成S'S，A'A的正交單位特征向量組成V，特征值（與AA'相同）組成SS'。因此，奇異值分解和特征值問題緊密聯(lián)系。

2、奇異值分解提供了一些關(guān)于A的信息，例如非零奇異值的數(shù)目（S的階數(shù)）和A的秩相同，一旦秩r確定，那么U的前r列構(gòu)成了A的列向量空間的正交基。

關(guān)于奇異值分解中當(dāng)考慮的對象是實矩陣時: S對角元的平方恰為A'A特征值. (對復(fù)矩陣類似可得)

?

從上面我們知道矩陣的奇異值分解為: A=USV, 其中U,V是正交陣(所謂B為正交陣是指B'=B^-1, 即B'B=I),S為對角陣.

????? A'A=V'S'U'USV=V'S'SV=V^-1S²V

上式中, 一方面因為S是對角陣, S'S=S², 且S²對角元就是S的對角元的平方. 另一方面注意到A'A是相似與S²的, 因此與S²有相同特征值.

?

其實奇異值可以認為是一種特殊的矩陣范數(shù)！