线性代数 --- 如何求解不可逆的mxn长方形矩阵Ax=0的通解Null(A)和Ax=b的通解
Solve Ax=0 and Ax=b
? ? ? ? 我們先看一個未知數(shù)一個方程ax=b的解的情況，他的解可以有三種情況：
（i）當(dāng)a0時，對于任意的b都有解x=b/a，這時方程有唯一解。（這種情況叫相容且非奇異）
（ii）若a=0,b=0。無論x取多少，等式0x=0恒成立，有無窮多個解。（這種情況叫相容，但奇異）
（iii）若a=0,b0，無解。因?yàn)?#xff0c;沒有x可以讓等式0x=b成立。（這種情況叫不相容）
????????上面舉的這個例子，對于nxn方陣來說，也可能存在這三種情況。
? ? ? ? 但是，對于mxn的長方形矩陣而言，無論是m>n（方程的個數(shù)大于未知數(shù)的個數(shù)）還是m<n（未知數(shù)的個數(shù)大于方程的個數(shù)）都不會出現(xiàn)上面提到的情形(i)，也就是說，對于每一個b，不可能都存在解，且唯一。
舉例：對于如下的3x4矩陣進(jìn)行消元
?????????按照對于方陣的高斯消元，算到這一步就算不下去了，因?yàn)?#xff0c;主對角線上的值為0，且通過換行依然無法避免。就此可以判定為奇異矩陣。
????????但是，對于長方形矩陣，我們繼續(xù)消元，也就是說，找到消不下去的哪一行的第一個非零元素，把他當(dāng)作主元，繼續(xù)消去該主元下面的所有元素。最終得到一個行階梯形矩陣U。
?更一般的情況如下，注意，主元并不一定在主對角線上。（圖中畫圈的星號為非零主元，而非零主元所在的列就稱之為主元列或非零主元列）
????????同樣，這樣的階梯型上三角矩陣U，也存在一個對應(yīng)的還原矩陣L，使得A=LU。注意：雖然A是長方形矩陣，但此處的L是方陣，他是一個m階矩陣，等于A和U的行數(shù)。如果，在消元過程中有行交換的話，需要引進(jìn)置換矩陣P。得到PA=LU。
現(xiàn)在我們開始討論mxn方程組長方形矩陣的解:
Ax=0的解就是特解的線性組合，他是A的零空間
1，先考慮齊次方程Ax=0的解
對于b=0的情形，消元的過程中方程組的右端b是不變的。最終把Ax=0化簡成行階梯型矩陣Ux=0。
????????我們把四個未知數(shù)u,v,w,y分成兩組。一組是對應(yīng)非零主元列(columns with pivots）的變量，稱為基本變量basic variables。基本變量在x中所對應(yīng)的位置，就是這些主元列所對應(yīng)的問題。在本例中，u和w是基本變量。另外一組，是對應(yīng)于沒有主元的列(columns without pivots)的變量，我們叫他自由變量free variables。在本例中，v,y為自由變量。
????????下面插播一個個人筆記，從中可以清楚的看到，主元列，自由列，以及他們分別對應(yīng)的基本變量和自由變量。
????????為了求得Ux=0（Ax=0）的通解，自由變量v,y可以為任意值，也就說我們可以先把v,y當(dāng)作已知量，再回代到化簡后的方程中，基本變量w,y就可以用v,y來表示了。
?最終求得：
????????可見，該齊次方程Ax=0有無窮多個解，又因?yàn)閮蓚€自由變量v,y都可以是任意數(shù)，該方程組的解具有”雙無窮“的特性。也就是說，按住v不動（比如說，令v=1）去改變y,則y有無窮多個解。反之亦然。
? ? ? ? 可以看到，如果我們令v=0,y=1,則向量[-3 1 0 0]'就是齊次方程Ax=0的一個特解，如果令v=1,y=0,則向量[-1 0 -1/3 1]’是齊次方程的另一個特解。不難看出，不論怎么調(diào)整權(quán)重v,y，最終的結(jié)果都是Ax=0的解。齊次方程組Ax=0的所有解，都是這兩個向量（兩個特解）的線性組合。?
????????現(xiàn)在我們可以做一個類比，回想一下Ax=b的列空間C(A)。矩陣的列空間指出，所有可解的右端b，都是通過對A中各列的線性組合得到的，且他們的組合填滿了整個列空間。而到了這里，A中的各列不再需要組合成b，而是b=0的情況，且更重要的是，他們的組合結(jié)果不是零空間，組合的結(jié)果已經(jīng)是確定且唯一的全零列向量，零空間是A的所有列向量合成全零列向量時的權(quán)重。
?????????Ax=0的特解，我們叫他“零向量”或者叫他們“解向量(x)”，他們的維度也和A中列的維度不同。就拿本例來說，A中列的維度是3(等于方程組中方程的個數(shù))，而未知數(shù)x（也就是解）的維度是4。構(gòu)成列空間C(A)的每個列向量的維度是m(等于b的維度=A中各列的維度=方程組中方程的個數(shù))，而這里構(gòu)成零空間N(A)的解向量(x)，他的維度是n（等于矩陣A中列的個數(shù)=未知數(shù)的個數(shù)）。（注意：這里我說的都是向量的維度）
? ? ? ? 對于這個例子，在四個未知數(shù)所構(gòu)成的四維空間中，Ax=0的解，構(gòu)成了一個二維子空間---A的零空間N(A)。這個空間是由[-3 1 0 0]'和[-1 0 -1/3 1]'所張成的一個二維平面。
? ? ? ? 因此，我們可以得出如下結(jié)論：對于一個列數(shù)大于行數(shù)的矩陣（未知數(shù)的個數(shù)大于方程個數(shù)的方程組），即n>m的矩陣。由于最多只能有m個非零主元（每行一個），因此，當(dāng)U存在全零行時，至少有n-m個自由變量,且,自由變量的個數(shù)可以多余n-m個。就本例而言，自由變量的個數(shù)就大于n-m（n-m=4-3=1）個，但自由變量卻有2個，事實(shí)上他就等于行階梯型矩陣U非零行的個數(shù)rank?。
這里我們對齊次方程Ax=0的解，做一個重要小結(jié)，并給出對于秩(Rank)的定義：
????????1，Ax=0(Ux=0)的所有解，即A的零空間，就是n-r個特解的線性組合。
? ? ? ? 2，對于未知數(shù)個數(shù)大于方程個數(shù)的方程組（n>m），齊次方程組Ax=0，必有除了x=0以外的非平凡解。其中，零空間N(A)的維數(shù)等于自由變量的個數(shù)等于特解的個數(shù),在本例中就是。
? ? ? ? 3，就mxn的矩陣A而言，經(jīng)過高斯消元后得到階梯矩陣U。如果U中有r個非零主元，那么矩陣U的底部會出現(xiàn)m-r個全0行。就本例而言，r=2（共兩個非零主元，用紅色方框框出）,m=3,m-r=1。可以看到矩陣U的底部有一個全0行。
????????同時，根據(jù)r=2，說明有兩個非零主元列，對應(yīng)了r個基本變量。自由列的個數(shù)等于2，等于n-r，就本例而言，n=4，n-r=2，對應(yīng)了n-r個自由變量。齊次方程組Ax=0的零空間N(A)，由n-r個自由變量決定，零空間的維度=n-r。如果，r=n，也就是r的個數(shù)等于A的列的個數(shù)，表示該齊次方程組沒有自由變量（也就沒有自由列），A的零空間只有平凡解x=0(而在我們之前所學(xué)的知識里，只有平凡解的情況，只在我們平常所討論的方陣中出現(xiàn))。
? ? ? ? 4，這里,我們反復(fù)提及的數(shù)r叫做矩陣A的秩(Rank)。它等于矩陣U中非零行的行數(shù)，也等于矩陣U中非零主元的個數(shù)，它代表了矩陣A中真正獨(dú)立的行的行數(shù)。在本例中，第三行實(shí)際上是前兩行的線性組合。第二行乘以2減去第一行乘以5，得到第三行。
Ax=b的解是一個Ax=b的特解和Ax=0的通解的和，他不是一個向量空間
2，現(xiàn)在考慮非齊次方程組Ax=b的解
對于同樣的矩陣A,我們有：
? ? ?
把等式右端b和A放在一起得到增廣矩陣：
按照相同的步驟對增廣矩陣化簡，得到Ux=c
?對于所有有解的b而言，應(yīng)該是由A的各列所張成的。（注意：不是U的列）b屬于A的列空間。
? ? ? ? 因?yàn)?#xff0c;列2可以由列1合成(col2=3*col1), 而列4可以由列1和列3組成(col4=col1+col3/3)，其中，列2和列4就是前面提到的兩個自由列。所以，這里雖然有四個列向量，但他們的線性組合只能張成三維空間中的一個平面。因此，對于A的列空間而言，一方面，可以把他看成是由col1和col3這兩個主元列所張成的三維空間中的一個平面。另一方面，要想方程有解，則必須要保證最后一個方程b3-2b2+5b1=0成立(下圖中用紅色方框標(biāo)出)，因?yàn)?#xff0c;如果b3-2b2+5b10，則該方程組無解。這樣一來A的列空間可以理解為，滿足約束方程b3-2b2+5b1=0的所有b向量(b1,b2,b3)，所構(gòu)成的三維空間中的一個平面。這一平面和前面所張成的平面一模一樣，A的四個列向量都滿足這一約束。（我們暫且稱這個平面為平面P）
? ? ? ? 此外，如果我們把滿足方程組成立的約束方程b3-2b2+5b1=0的左邊，看成是一個列向量x=[5，-2，1]'的轉(zhuǎn)置與一個列向量b=[b1, b2, b3]'的乘積，那么我們會發(fā)現(xiàn)列向量x不僅垂直于b(他們的內(nèi)積為0，如下圖所示), 也垂直于我們上面提到的平面P，因而也垂直于A的每一列(P是由于A中的主元列所張成的，且自由列也在這一平面上)。實(shí)際上，只要方程組有解，b也一定在平面P內(nèi)。
? ? ? ? 前面說到，列向量x垂直于A中的每一個列向量。根據(jù)向量內(nèi)積的定義和向量正交的定義，我們來逐一驗(yàn)證一下：
? ? ? ? ?
????????現(xiàn)在，假定方程有解，即，b在A的列空間中，顯然要保證最后一行方程0x=0成立。和前面一樣，經(jīng)過高斯消元后，用自由變量v,y（已知數(shù)）來表示基本變量u,w。
?得到如下通解（為了便于比較，我把前面的齊次方程組的解也放在下面了）：
（圖為非齊次方程的解）
?（圖為齊次方程的解）
? ? ? ? 首先，我們可以看到非齊次方程Ax=b也有無窮多個解，且，也有“雙無窮“的特性。與之前算出的齊次方程Ax=0的解相比，多了一組向量，用紅色的方框標(biāo)注，這個向量是Ax=b的一個特解（這個特解就是保證最后一個方程約束b3-2b2+5b1=0成立的一個解）。可見，非齊次方程Ax=b的通解，是Ax=b的這個特解和Ax=0的通解的和。從空間的角度講，
? ? ? ? 注意，前面提到的"滿足方程b3-2b2+5b1=0的所有點(diǎn)（b1,b2,b3）構(gòu)成的一個平面。"平面上的任意一點(diǎn)，都可以作為Ax=b的特解。
? ? ? ? 例如，為滿足b3-2b2+5b1=0，我們找到一個點(diǎn)b1=1,b2=5,b3=5，滿足該約束。并得到如下矩陣Ax=b：
?經(jīng)過高斯消元后，得到：
?最后一行滿足0=0：
? ? ? ? ?從空間的角度講，Ax=b的通解是四維空間內(nèi)的一個平面，但他不是一個子空間。因?yàn)?#xff0c;這個平面不通過原點(diǎn)。通解所構(gòu)成的解平面和齊次方程Ax=0的解平面(也就是A的零空間)平行，但不重合。他沿著特解移動了一段。
這里我們對非齊次方程Ax=b的解，做一個重要小結(jié)：
1，非齊次方程Ax=b的通解，是Ax=b的一個特解和Ax=0的通解的和。
2，齊次方程組Ax=0的解構(gòu)成了子空間。但非齊次方程組Ax=b的解構(gòu)不成子空間，因?yàn)樗贿^原點(diǎn)。
3，當(dāng)且僅當(dāng)r=m時，Ax=b才對任何b都有解。此時，主元的個數(shù)為m，U不存在全0行。就本例而言，當(dāng)r=m=3時，不存在全0行，可以用反向代入解Ux=c。
4，當(dāng)r<m時，本例就是這種情況，(r=2）<（m=3)，U有m-r個全0行，此時，如果要想Ax=b有解，b應(yīng)該受到m-r個約束。在本例中m-r=3-2=1，共有一個約束。且，這m-r個約束由Ux=c的最后m-r行給出。如果有一個特解，那么Ax=b的任何一個解都是這個特解和A的零空間中一個向量的和。
數(shù)r叫做矩陣A的秩(Rank)。
補(bǔ)充：
Ax=b的解是經(jīng)過一定水平位移（我猜：應(yīng)該不會旋轉(zhuǎn),haha）后的Ax=0的解。
比如說下面這個矩陣，Ax=0的解是一條過零點(diǎn)的直線，而Ax=b的解是這條直線的平行線。
?(全文完)?
作者 --- 松下J27
格言摘抄：
要 愛 惜 光 陰 ， 因 為 現(xiàn) 今 的 世 代 邪 惡 。
Redeeming the time, because the days are evil。
《圣經(jīng)》---以弗所書，5章16節(jié)
鳴謝(參考文獻(xiàn))：
1，Linear algebra and its application -?GILBERT STRANG
2，線性代數(shù)及其應(yīng)用 - 侯自新，南開大學(xué)出版社，1990版
???????
(*配圖與本文無關(guān)*)?
版權(quán)聲明：所有的筆記，可能來自很多不同的網(wǎng)站和說明，在此沒法一一列出，如有侵權(quán)，請告知，立即刪除。歡迎大家轉(zhuǎn)載，但是，如果有人引用或者COPY我的文章，必須在你的文章中注明你所使用的圖片或者文字來自于我的文章，否則，侵權(quán)必究。 ----松下J27
總結(jié)
以上是生活随笔為你收集整理的线性代数 --- 如何求解不可逆的mxn长方形矩阵Ax=0的通解Null(A)和Ax=b的通解的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 一款开源的指纹识别SDK
- 下一篇： 企业网络流量分析监控软件