一、超定方程組##

超定方程組即為有效方程個(gè)數(shù)大于未知數(shù)個(gè)數(shù)的方程組。（這里只討論多元一次的情況）
超定方程組可以寫(xiě)成矩陣的形式：
egin{equation}
egin{split}
Ax=b
end{split}
end{equation}
其中(A)為(m imes n)的矩陣，其與(b)組成的增廣矩陣([A|b])的秩大于(n)。(x)為(n)維列向量未知數(shù)。

二、超定方程組的最小二乘解##

超定方程組是無(wú)解的，但是我們可以求得其最小二乘解，就是將等式左右兩端乘上(A)的轉(zhuǎn)置。
egin{equation}
egin{split}
A^TAx=ATb
end{split}
end{equation}
該方程有增廣矩陣([A^TA|A^Tb])的秩等于(n)，即該方程的未知數(shù)的個(gè)數(shù)等于有效方程的個(gè)數(shù)，所以該方程有唯一解且為原方程的最小二乘解。
平時(shí)記住結(jié)論直接用就好

三、推導(dǎo)過(guò)程##

（記錄，大家不要看：其實(shí)小生也是只知道結(jié)論不知道結(jié)論是怎么來(lái)的，不過(guò)有一天看斯坦福大學(xué)的機(jī)器學(xué)習(xí)公開(kāi)課的第二節(jié)，看到了推導(dǎo)過(guò)程。）

1.前置結(jié)論###

(trAB = trBA)
(trABC = trBCA = trCAB)
(
abla_AtrAB = B^T)
(trA = trA^T)
(tra = a)
6)(
abla_AtrABA^TC = CAB + C^TAB^T)
tr代表矩陣的跡，大寫(xiě)字母為矩陣小寫(xiě)字母表示實(shí)數(shù)，(
abla表示求導(dǎo))。

2.公式推導(dǎo)###

作差
egin{equation}
egin{split}
Ax-b = left[ egin{array}{c}
a_1^Tx - b_1
vdots
a_m^T - b_m
end{array}
ight ]
end{split}
end{equation}

構(gòu)建最小二乘
egin{equation}
egin{split}
frac{1}{2}(Ax-b)^T(Ax-b) = frac{1}{2}sum_{i=1}^m(a_iTx-b_i)^2
end{split}
end{equation}

對(duì)(x)求導(dǎo)
egin{equation}
egin{split}

abla_x frac{1}{2}(Ax-b)^T(Ax-b) =
abla_x tr(x^TATAx-x^TATb-b^TAx+bTb)
end{split}
end{equation}

利用前置結(jié)論2)4)5)
egin{equation}
egin{split}

abla_x frac{1}{2}(Ax-b)^T(Ax-b) =
abla_xtr[xx^TATA-
abla_xb^TAx-
abla_xbTAx]
end{split}
end{equation}

其中利用前置結(jié)論6)
注：大括號(hào)下的A為前置結(jié)論中的A，大括號(hào)上的A為矩陣A。

egin{equation}

abla_xxx^TATA =
abla_x cdot underbrace{x}_A cdot underbrace{I}_B
end{equation}

egin{equation}
cdot underbrace{x^T}_{AT} cdot underbrace{A^TA}_C
end{equation}

利用前置結(jié)論1)3)
egin{equation}
egin{split}

abla_xunderbrace{b^TA}_Bunderbrace{x}_A = A^Tb
end{split}
end{equation}

所以就有：
egin{equation}
egin{split}
frac{1}{2}(Ax-b)^T(Ax-b) = A^TAx - A^Tb = 0
end{split}
end{equation}

則有：
egin{equation}
A^TAx = A^Tb
end{equation}
egin{equation}
x=(A^TA){-1}A^Tb
end{equation}

總結(jié)

以上是生活随笔為你收集整理的超定方程组最优解（最小二乘解）推导的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。