1.邏輯回歸（Logistic Regression）又常被成為“邏輯斯蒂回歸”，實質(zhì)上是一個二元分類問題。

邏輯回歸代價函數(shù)：

?

代價函數(shù)導數(shù)：

Matlab實現(xiàn)：

?

采用matlab中自帶的無約束最小化函數(shù)fminunc來代替梯度下降法（避免學習率的選擇）。

fminunc高級函數(shù)的使用參考：http://blog.csdn.net/gzp444280620/article/details/49272977

??

自定義函數(shù)與fminunc函數(shù)之間的調(diào)用關系：

?

對于二維線性或者非線性問題，我們可以通過畫出決策邊界來可視化數(shù)據(jù)集，從而更直觀判斷模型的準確度。

?

對于可以用簡單線性劃分的數(shù)據(jù)集，不需要進行模型復雜度和正則化處理，應用起來往往很簡單。

?

2.非線性決策邊界問題：

對于邊界復雜問題，簡單的線性邊界劃分無法實現(xiàn)，需要增加特征變量的階數(shù)來實現(xiàn)非線性劃分。這樣就會導致模型的復雜度增加，如何權衡模型的準確度和復雜度？——正則化處理。

?

1）非線性模型復雜度的選擇：下面的代碼只針對二維特征變量，單一特征變量的最高階數(shù)可以自行試湊。

?

2）正則化參數(shù)的選擇：

過小：對模型復雜度懲罰不夠，過擬合

過大：模型太過簡單，訓練準確率下降，欠擬合

?

?

正則化處理后的代價函數(shù)：

?

代價函數(shù)導數(shù)：

正則化代碼：

?

?

PS: 應用邏輯回歸模型也可以進行多類分類，處理方法是多次重復進行二分類，每次選擇一個正向類，其余各類都視作負向類。

?

個人筆記：http://www.cnblogs.com/always-chang/p/5935655.html

源碼分析：http://pan.baidu.com/s/1nu7rwVZ 密碼：2ra2

轉載于:https://www.cnblogs.com/always-chang/p/6113942.html

總結

以上是生活随笔為你收集整理的【机器学习经典算法源码分析系列】-- 逻辑回归的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。