問題：如果你的梯度集成模型過擬合了，此時應該是增加學習率還是減少學習率？

在梯度提升模型中，學習率本質上是誤分類樣本的權重；如果要減少過擬合，就要減少對錯誤分類的關注；

此處使用極限思維，學習率為0，那么就只有一棵樹，錯誤分類的實例均不考慮；

輸出驗證集與訓練集的結果：

?

?改變學習率：

輸出結果：如下所示：

降低了學習率，減少了過擬合，泛化性能提升

?

?

?

?

個人理解：

學習率與1的差值絕對值越大，正則化強度越強，方差越小；差值絕對值越小，偏差越小，方差越大；

?

從另外的角度而言，每棵樹都學習了一些特征，樹越多就說明需要越多的特征來預測；換句話說，樹越多一定是泛化能力更強；不依賴于其中某棵樹；穩定性更好；如果過擬合了，就要想到需要使用更多的樹；用另外一種想法就是：如果用一棵樹訓練好的模型與100棵樹訓練好的模型，在訓練集效果100%，但哪個泛化能力更強呢？

總結

以上是生活随笔為你收集整理的gbdt学习率调参的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。