01|基本概念：

在介紹邏輯回歸模型以前，先介紹一下邏輯斯諦分布。

設(shè)X是連續(xù)型隨機(jī)變量，X服從邏輯斯蒂分布是指X具有下列分布函數(shù)F(x)和密度函數(shù)f(x)：

邏輯斯諦分布的分布函數(shù)F(x)的曲線如圖所示，其圖形是一條S形曲線，曲線在中心附近增長最快，在兩端增長速度較慢。當(dāng)x無窮大時，F(x)接近于1；當(dāng)x無窮小時，F(x)接近于0。

(邏輯回歸分布函數(shù))

02|二項(xiàng)邏輯斯諦回歸模型：

二項(xiàng)邏輯斯蒂回歸模型是一種分類模型，由條件概率分布P(Y|X)表示，形式為參數(shù)化的邏輯斯蒂分布？這里隨機(jī)變量X取值為實(shí)數(shù)，隨機(jī)變量Y取值為1或0。

二項(xiàng)邏輯斯諦回歸模型是如下的條件概率分布：

這里x屬于實(shí)數(shù)，Y屬于{0,1}是輸出，w和b是參數(shù)，w稱為權(quán)值向量，b稱為偏置，為w和x的內(nèi)積。

對于給定的輸入實(shí)例x，按照上述分布函數(shù)可以求得P(Y=1|x)和P(Y=0|x)。邏輯斯諦回歸是比較兩個條件概率值的大小，將實(shí)例x分到概率值大的那一類。

有時候?yàn)榱朔奖?#xff0c;將權(quán)值向量和輸入向量加以擴(kuò)充，仍記作w,x，即

,。這時，邏輯斯蒂回歸模型如下：

得到上面的回歸模型了，上面的回歸模型中有一個未知參數(shù)w，在利用上述的模型對數(shù)據(jù)進(jìn)行預(yù)測之前需要先求取參數(shù)w的值，這里采用極大似然估計(jì)的方法求取參數(shù)w。

設(shè)

,

似然函數(shù)為：

對數(shù)似然函數(shù)為：

這樣問題就變成了以對數(shù)似然函數(shù)為目標(biāo)函數(shù)的最優(yōu)化問題。邏輯斯蒂回歸學(xué)習(xí)中通常采用的方法是梯度下降法以及擬牛頓法。

將利用極大似然估計(jì)得到的w值代入上述的模型中，即可用于測試數(shù)據(jù)集的預(yù)測。

03|多項(xiàng)邏輯斯蒂回歸：

二項(xiàng)邏輯斯諦回歸模型是二項(xiàng)分類模型，用于二分類問題中?？梢詫⑵渫茝V到多項(xiàng)邏輯斯諦回歸模型，用于多分類問題。假設(shè)離散型隨機(jī)變量Y的可能取值集合是{1,2,...,K}，那么多項(xiàng)邏輯斯諦回歸模型是：

總結(jié)

以上是生活随笔為你收集整理的机器学习第八篇：详解逻辑斯蒂回归算法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。