机器学习03Logistic回归
邏輯回歸 （Logistic Regression）
目前最流行，使用最廣泛的一種學(xué)習(xí)算法。
分類問題，要預(yù)測的變量 y 是離散的值。
邏輯回歸算法的性質(zhì)是：它的輸出值永遠(yuǎn)在 0 到 1 之間。
邏輯回歸模型的假設(shè)是：
其中：
X 代表特征向量
g 代表logistic function，是一個(gè)常用的Sigmoid function。
Sigmoid function：一個(gè)良好的閾值函數(shù)
導(dǎo)數(shù)：f'(x)=f(x)*[1-f(x)]
公式為：
圖像為：
合起來，得到Logistic回歸模型的假設(shè)：
?
對于給定的輸入變量，根據(jù)選擇的參數(shù)計(jì)算輸出變量=1 的可能性（estimated probablity）：
即
代價(jià)函數(shù)：
整理得：
帶入到代價(jià)函數(shù)（凸函數(shù)）：
得到代價(jià)函數(shù)后， 便可以用梯度下降算法來求得能使代價(jià)函數(shù)最小的參數(shù)了。
算法為：
注：?
1、雖然得到的梯度下降算法表面上看上去與線性回歸的梯度下降算法一樣， 但是這里的 hθ(x)=g(θTX)與線性回歸不同，
所以實(shí)際上是不一樣的。
2、在運(yùn)行梯度下降算法之前，進(jìn)行特征縮放依舊是非常必要的。?
邏輯回歸，這是一種非常強(qiáng)大，甚至可能世界上使用最廣泛的一種分類算法。?
————————————————————————————————————————————————————————
高級(jí)優(yōu)化（Advanced Optimization）
梯度下降并不是我們可以使用的唯一算法，還有其他一些算法，更高級(jí)、更復(fù)雜。
共軛梯度法 BFGS (變尺度法) 和 L-BFGS (限制變尺度法) 就是其中一些更高級(jí)的優(yōu)化算法。
它們需要有一種方法來計(jì)算 J(θ)，以及需要一種方法計(jì)算導(dǎo)數(shù)項(xiàng)， 然后使用比梯度下降更復(fù)雜的算法來最小化代價(jià)函數(shù)。?
這些算法的具體細(xì)節(jié)超出了本門課程的范疇。
實(shí)際上你最后通常會(huì)花費(fèi)很多天，或幾周時(shí)間研究這些算法，你可以專門學(xué)一門課來提高數(shù)值計(jì)算能力。
這些算法有許多優(yōu)點(diǎn)：?一個(gè)是使用這其中任何一個(gè)算法， 你通常不需要手動(dòng)選擇學(xué)習(xí)率 α。
實(shí)際上， 我過去使用這些算法已經(jīng)很長一段時(shí)間了， 也許超過十年了， 使用得相當(dāng)頻繁。
而直到幾年前我才真正搞清楚共軛梯度法 BFGS 和 L-BFGS 的細(xì)節(jié)。?
我們實(shí)際上完全有可能成功使用這些算法， 并應(yīng)用于許多不同的學(xué)習(xí)問題， 而不需要真正理解這些算法的內(nèi)環(huán)間在做什么。
?如果說這些算法有缺點(diǎn)的話， 那么我想說主要缺點(diǎn)是它們比梯度下降法復(fù)雜多了。
特別是你最好不要使用 L-BGFS、 BFGS 這些算法， 除非你是數(shù)值計(jì)算方面的專家。
實(shí)際上，我不會(huì)建議你們編寫自己的代碼來計(jì)算數(shù)據(jù)的平方根，或者計(jì)算逆矩陣。
因?yàn)閷τ谶@些算法，我還是會(huì)建議你直接使用一個(gè)軟件庫。
比如說，要求一個(gè)平方根， 我們所能做的就是調(diào)用一些別人已經(jīng)寫好用來計(jì)算數(shù)字平方根的函數(shù)。?
幸運(yùn)的是現(xiàn)在我們有 Octave 和與它密切相關(guān)的 MATLAB 語言可以使用。?
所以當(dāng)我有一個(gè)很大的機(jī)器學(xué)習(xí)問題時(shí)，我會(huì)選擇這些高級(jí)算法，而不是梯度下降。
有了這些概念， 你就應(yīng)該能將邏輯回歸和線性回歸應(yīng)用于更大的問題中， 這就是高級(jí)優(yōu)化的概念。?
————————————————————————————————————————————————————————
多類別分類：一對多/一對余
（Multiclass Classification_ One-vs-all）
有幾類，就訓(xùn)練幾個(gè)分類器。
預(yù)測時(shí)，將所有的分類機(jī)都運(yùn)行一遍，選擇最高可能性。
總結(jié)
以上是生活随笔為你收集整理的机器学习03Logistic回归的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 机器学习02线性回归、多项式回归、正规方
- 下一篇： 机器学习04正则化