Coursera公开课笔记: 斯坦福大学机器学习第二课“单变量线性回归(Linear regression with one variable)”
Coursera公開課筆記: 斯坦福大學(xué)機(jī)器學(xué)習(xí)第二課“單變量線性回歸(Linear regression with one variable)”
2012年05月6號(hào) 52nlp斯坦福大學(xué)機(jī)器學(xué)習(xí)第二課”單變量線性回歸“學(xué)習(xí)筆記，本次課程主要包括7部分：
1) Model representation(模型表示)
2) Cost function(代價(jià)函數(shù)，成本函數(shù))
3) Cost function intuition I(直觀解釋1)
4) Cost function intuition II(直觀解釋2)
5) Gradient descent(梯度下降)
6) Gradient descent intuition(梯度下降直觀解釋)
7) Gradient descent for linear regression(應(yīng)用于線性回歸的的梯度下降算法)
以下是第二課“單變量線性回歸”的課件資料下載鏈接，視頻可以在Coursera機(jī)器學(xué)習(xí)課程上觀看或下載： PPT?? PDF 另外課程答題時(shí)間推遲一周，具體可參考:? Coursera機(jī)器學(xué)習(xí)課程作業(yè)截止時(shí)間推遲一周 如轉(zhuǎn)載52opencourse上的任何原創(chuàng)文章，請(qǐng)務(wù)必注明出處，原文見： Coursera公開課筆記: 斯坦福大學(xué)機(jī)器學(xué)習(xí)第二課“單變量線性回歸(Linear regression with one variable)”1) Model representation(模型表示)
回到第一課中的房屋價(jià)格預(yù)測問題， 首先它是一個(gè)有監(jiān)督學(xué)習(xí)的問題（對(duì)于每個(gè)樣本的輸入，都有正確的輸出或者答案），同時(shí)它也是一個(gè)回歸問題（預(yù)測一個(gè)實(shí)值輸出）。
訓(xùn)練集表示如下：
其中：
m?=?訓(xùn)練樣本的數(shù)目
x’s?=?“輸入”變量，也稱之為特征
y’s?=?“輸出”變量，也稱之為“目標(biāo)”變量
?
對(duì)于房價(jià)預(yù)測問題，學(xué)習(xí)過程可用下圖表示：
?
其中x代表房屋的大小，y代表預(yù)測的價(jià)格，h(hypothesis)將輸入變量 x 映射到輸出變量 y，如何表示h?
事實(shí)上Hypothesis可以表示成如下形式：
hθ(x)=θ0+θ1x
簡寫為 h(x)，也就是帶一個(gè)變量的線性回歸或者單變量線性回歸問題。
?
2) Cost function(代價(jià)函數(shù)，成本函數(shù))
對(duì)于Hypothesis:? hθ(x)=θ0+θ1x
θi 為參數(shù)
如何求θi?
構(gòu)想： 對(duì)于訓(xùn)練集(x, y)，選取參數(shù)θ0, θ1使得hθ(x)盡可能的接近y。
如何做呢？一種做法就是求訓(xùn)練集的平方誤差函數(shù)（squared error function），Cost Function可表示為:
J(θ0,θ1)=12m∑i=1m(hθ(x(i))–y(i))2
并且選取合適的參數(shù)使其最小化，數(shù)學(xué)表示如下：
minimizeθ0,θ1J(θ0,θ1)
3) Cost function intuition I(直觀解釋1)
直觀來看，線性回歸主要包括如下四大部分，分別是Hypothesis, Parameters, Cost Function, Goal:
這里作者給出了一個(gè)簡化版的Cost function解釋，也就是令θ0為0：
然后令θ1分別取1、0.5、-0.5等值，同步對(duì)比hθ(x)和J(θ0,θ1)在二維坐標(biāo)系中的變化情況，具體可參考原PPT中的對(duì)比圖，很直觀。
?
4) Cost function intuition II(直觀解釋2)
回顧線性回歸的四個(gè)部分，這一次不在對(duì)Cost?Function做簡化處理，這個(gè)時(shí)候J(θ0,θ1)的圖形是一個(gè)三維圖或者一個(gè)等高線圖，具體可參考原課件。
可以發(fā)現(xiàn)，當(dāng)hθ(x)的直線越來越接近樣本點(diǎn)時(shí)，J(θ0,θ1)在等高線的圖中的點(diǎn)越來越接近最小值的位置。
5) Gradient descent(梯度下降)
應(yīng)用的場景之一-最小值問題：
對(duì)于一些函數(shù)，例如J(θ0,θ1)
目標(biāo):? minθ0,θ1J(θ0,θ1)
方法的框架:
1、給θ0, θ1一個(gè)初始值，例如都等于0
2、每次改變θ0, θ1的時(shí)候都保持J(θ0,θ1)遞減，直到達(dá)到一個(gè)我們滿意的最小值；
對(duì)于任一J(θ0,θ1) , 初始位置不同，最終達(dá)到的極小值點(diǎn)也不同，例如以下兩個(gè)例子：
?
?
梯度下降算法：
重復(fù)下面的公式直到收斂：
?
舉例：
參數(shù)正確的更新過程如下（同步更新）：
?
錯(cuò)誤的更新過程如下：
?
6) Gradient descent intuition(梯度下降直觀解釋)
舉例，對(duì)于一個(gè)簡化的J(θ1)來說，無論拋物線的左邊還是右邊，在梯度下降算法下，θ1)都是保持正確的方向（遞增或遞減）
對(duì)于learning?rate(又稱為步長)來說:
如果α過小，梯度下降可能很慢；如果過大，梯度下降有可能“邁過”（overshoot）最小點(diǎn)，并且有可能收斂失敗，并且產(chǎn)生“分歧”(diverge)
梯度下降可以使函數(shù)收斂到一個(gè)局部最小值，特別對(duì)于learning?rate α是固定值的時(shí)候：
當(dāng)函數(shù)接近局部最小值的時(shí)候，梯度下降法將自動(dòng)的采取“小步子”，?所以沒有必要隨著時(shí)間的推移減小learning?rate.
關(guān)于梯度下降算法，可以參考維基百科的介紹： http://zh.wikipedia.org/wiki/%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E6%B3%95
?
7) Gradient descent for linear regression(應(yīng)用于線性回歸的的梯度下降算法)
梯度下降算法：
線性回歸模型：
J(θ0,θ1)對(duì)于θ0), θ1)求導(dǎo)，得：
在梯度下降算法中進(jìn)行替換，就得到單變量線性回歸梯度下降算法：
詳細(xì)的圖形舉例請(qǐng)參考官方PPT，主要是在等高線圖舉例梯度下降的收斂過程，逐步逼近最小值點(diǎn)，其中一幅圖說明：線性回歸函數(shù)是凸函數(shù)(convex?function)，具有碗狀（bowl?shape)。
總結(jié)： 這里的梯度下降算法也稱為”Batch”?梯度下降: 梯度下降的每一步都使用了所有的訓(xùn)練樣本。
本文鏈接地址：Coursera公開課筆記: 斯坦福大學(xué)機(jī)器學(xué)習(xí)第二課“單變量線性回歸(Linear regression with one variable)”
相關(guān)文章:
出處：http://www.52nlp.cn/coursera%E5%85%AC%E5%BC%80%E8%AF%BE%E7%AC%94%E8%AE%B0-%E6%96%AF%E5%9D%A6%E7%A6%8F%E5%A4%A7%E5%AD%A6%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%AC%AC%E4%BA%8C%E8%AF%BE%E5%8D%95%E5%8F%98%E9%87%8F
總結(jié)
以上是生活随笔為你收集整理的Coursera公开课笔记: 斯坦福大学机器学习第二课“单变量线性回归(Linear regression with one variable)”的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Coursera公开课笔记: 斯坦福大学
- 下一篇： Coursera公开课笔记: 斯坦福大学