目錄

1）The problem of overfitting

2）Cost function

3）Regularized linear regression

4）Regularized logistic regression

---

我們已經學習了線性回歸和邏輯回歸算法，已經可以有效解決很多問題，但是在實際應用中我們會遇到過擬合問題，這是我們在機器學習中經常遇到的情況。

1）The problem of overfitting

下圖是一個回歸問題的例子，第一個模型是線性擬合，欠擬合，第三個模型是一個四次方的模型，過于擬合了原始數據，但是對新的數據表現會很差，中間的模型似乎最合適。

分類問題中，也會出現這種情況，對訓練數據擬合越好，對新的數據模型表現就會越差。

下面給出解決過擬合的幾點建議：減少特征數量，正則化；

2）Cost function

我們之前出現過擬合是因為有高次項，因此我們做一點修改，在一定程度上減少高次項參數的值，如下圖：

這就是正則化的思想，減少參數的值。但正則化參數不宜太大。

3）Regularized linear regression

這是我們之前修改的帶有正則化的成本函數：

我們還是使用梯度下降算法求參數，多了一個正則項；

對于正規方程，我們也是多了一個正則項矩陣；

4）Regularized logistic regression

我們來看一下我們修改后的邏輯回歸函數的成本函數，多了一個正則項；

梯度下降法和線性回歸形式是一樣的。但還需要提醒的是，里面的預測模型是不一樣的，邏輯回歸預測模型為sigmoid函數。線性回歸和邏輯回歸算法的第一個參數都不參與正則化。

總結

以上是生活随笔為你收集整理的机器学习笔记（六）：正则化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。