作者：Peter

紅色石頭的個(gè)人網(wǎng)站：

紅色石頭的個(gè)人博客-機(jī)器學(xué)習(xí)、深度學(xué)習(xí)之路?www.redstonewill.com

今天帶來(lái)第二周課程的筆記：梯度下降與正規(guī)方程。

主要內(nèi)容：

• 多維特征
• 多變量梯度下降
• 梯度下降法實(shí)踐
• 正規(guī)方程

多維特征Multiple Features

還是利用房?jī)r(jià)模型的例子，增加了更多的特征，比如：房間樓層、房間數(shù)量、地理位置等，構(gòu)成了一個(gè)含有多個(gè)變量的模型

n：代表的是特征的數(shù)量

x(i)：代表第i個(gè)訓(xùn)練實(shí)例，是特征矩陣中的第i行，是一個(gè)向量vector

xij：表示的是第i個(gè)訓(xùn)練實(shí)例的第j個(gè)特征；i表示行，j表示列

支持多變量的假設(shè)h表示為：

為了簡(jiǎn)化公式，引入，公式轉(zhuǎn)化為：

特征矩陣X 的維度是m?(n+1)，公式簡(jiǎn)化為：

多變量梯度下降

算法目標(biāo)

與單變量線性回歸類似，在多變量線性回歸中，構(gòu)建一個(gè)代價(jià)函數(shù)，則這個(gè)代價(jià)函數(shù)是所有建模誤差的平方和，即：

其中：

算法過程：

Python代碼

給定特征矩陣X，輸出y，學(xué)習(xí)率θ，求代價(jià)函數(shù)J

import

梯度下降法實(shí)踐

特征縮放

面對(duì)多維度特征問題，我們需要保證這些特征具有相近的尺度，幫助梯度下降算法更快地收斂。

以房?jī)r(jià)問題為例，假設(shè)僅用兩個(gè)特征，房屋的尺寸和數(shù)量，以兩個(gè)參數(shù)分別為橫縱坐標(biāo)，假設(shè)尺寸在0-2000平方英尺，數(shù)量在0-5之間。

繪制代價(jià)函數(shù)的等高線圖能，看出圖像會(huì)顯得很扁，梯度下降算法需要非常多次的迭代才能收斂。

解決辦法：將所有的特征的尺度盡量縮放到-1到1之間，令：

其中un為平均值，sn為標(biāo)準(zhǔn)差

均值歸一化

學(xué)習(xí)率問題

梯度下降算法的每次迭代受到學(xué)習(xí)率的影響

• 如果學(xué)習(xí)率過小，則達(dá)到收斂所需的迭代次數(shù)會(huì)非常高，收斂速度非常慢
• 如果學(xué)習(xí)率過大，每次迭代可能不會(huì)減小代價(jià)函數(shù)，可能會(huì)越過局部最小值導(dǎo)致無(wú)法收斂

常用學(xué)習(xí)率包含：α=0.01,0.03,0.1,0.31,3,10α=0.01,0.03,0.1,0.31,3,10

特征和多項(xiàng)式回歸

如房?jī)r(jià)預(yù)測(cè)問題，

同時(shí)房屋面積=寬度 * 深度

在實(shí)際擬合數(shù)據(jù)的時(shí)候，可能會(huì)選擇二次或者三次方模型；如果采用多項(xiàng)式回歸模型，在運(yùn)行梯度下降法之前，特征縮放很有必要。

正規(guī)方程 Normal Equation

梯度下降缺點(diǎn)

需要多次迭代才能達(dá)到局部最優(yōu)解

正規(guī)方程demo

正規(guī)方程具有不可逆性

正規(guī)方程就是通過求解下面例子中的方程找出使得代價(jià)函數(shù)最小參數(shù)θ：

不可逆矩陣不能使用正規(guī)方程求解

Normal Equation VS Gradient Descent

梯度下降和正規(guī)方程的比較：

參數(shù)θ求解過程

正規(guī)方程的Python實(shí)現(xiàn)

import

至此，第一周的課程筆記完畢！

系列文章：

吳恩達(dá)《Machine Learning》精煉筆記 1：監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)

本文首發(fā)于公眾號(hào)：AI有道（ID: redstonewill），歡迎關(guān)注！

總結(jié)

以上是生活随笔為你收集整理的python解zuobiaoxi方程_吴恩达《Machine Learning》精炼笔记 2：梯度下降与正规方程的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。