參考資料：

http://blog.csdn.net/zlbflying/article/details/48134955

http://www.tuicool.com/articles/MRbee2i

http://www.tuicool.com/topics/11020131

?線性回歸求價(jià)值函數(shù)最小，即求以權(quán)值為變量的函數(shù)的最小值。理論上可用最小二乘法，但其因需要求導(dǎo)，計(jì)算機(jī)一般無(wú)法完成，所以用牛頓法或梯度下降法求解。

梯度下降法可推導(dǎo)出下降最快的方向，通過(guò)該方向來(lái)更新參數(shù)值。

• 推導(dǎo)出的方向每次更新時(shí)用到了所有的樣本——批處理梯度下降算法，可用得到全局最優(yōu)解，但運(yùn)算量大
• 因此可用每次更新時(shí)只用一個(gè)樣本來(lái)更新參數(shù)——隨機(jī)梯度下降算法，減少運(yùn)算量，但可能在某些樣本點(diǎn)使參數(shù)更新劇烈變化

?

?

線性回歸，假設(shè)函數(shù)

價(jià)值函數(shù)

梯度下降法求價(jià)值函數(shù)的參數(shù)：步長(zhǎng)（學(xué)習(xí)率）、梯度、迭代

?

轉(zhuǎn)載于:https://www.cnblogs.com/z-sm/p/4924491.html

總結(jié)

以上是生活随笔為你收集整理的线性回归与梯度下降法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。