? ? ? ? ? ? ? ? ? ? ? ? ? ? 最小二乘法普通定義法證明

?普通公示法

由線性回歸的定義，我們的目標(biāo)是尋求殘差平方和最小。

Step 1 殘差平方和的定義即如下：

注：這里 即目標(biāo)實(shí)際值。

Step 2 將上式展開(kāi)為每個(gè)樣本的殘差平方和求和的形式。

Step 3 針對(duì)每個(gè)樣本對(duì)Ax均可按照分量的x進(jìn)行再次展開(kāi)，即：

Step 4 針對(duì)上式的二次型求偏導(dǎo),進(jìn)而得到：

注： 1 這里 代表X的一個(gè)分量。

? ? ? ? 2 對(duì)上式二次型求偏導(dǎo)時(shí) 類似于 求導(dǎo)數(shù)。

Step 5 再結(jié)合Ax和分量的x展開(kāi)互逆，又得到下式：

Step 6 去掉最外部的求和，即可寫(xiě)成兩個(gè)向量的內(nèi)積形式：

注:這里 針對(duì)矩陣A的第k列。

Step 7 再由內(nèi)積的定義，不難轉(zhuǎn)換為兩矩陣乘。此時(shí) 需要加以轉(zhuǎn)置:?

Step 8 同理對(duì)q個(gè)方程都有如下式子，這時(shí)令偏導(dǎo)等于0,得到最優(yōu)解（即損失函數(shù)最小）:

Step 9 ：針對(duì)上式求逆，即可得到最終結(jié)果：

注：這里假設(shè) 是可逆的。

總結(jié)

以上是生活随笔為你收集整理的最小二乘法普通定义法证明的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。