XGBoost的参数说明
生活随笔
收集整理的這篇文章主要介紹了
XGBoost的参数说明
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
最近在用這個算法打比賽,記錄一下
轉載博客:https://www.cnblogs.com/pengwang52/p/9623093.html、http://www.cnblogs.com/wanglei5205/p/8579244.html
模型參數
n_estimatores含義:總共迭代的次數,即決策樹的個數調參: early_stopping_rounds含義:在驗證集上,當連續(xù)n次迭代,分數沒有提高后,提前終止訓練。調參:防止overfitting。 max_depth含義:樹的深度,默認值為6,典型值3-10。調參:值越大,越容易過擬合;值越小,越容易欠擬合。 min_child_weight含義:默認值為1,。調參:值越大,越容易欠擬合;值越小,越容易過擬合(值較大時,避免模型學習到局部的特殊樣本)。可根據公式大致計算min_child_weight=1/sqrt(ratio_rare_event) subsample含義:訓練每棵樹時,使用的數據占全部訓練集的比例。默認值為1,典型值為0.5-1。調參:防止overfitting。 colsample_bytree含義:訓練每棵樹時,使用的特征占全部特征的比例。默認值為1,典型值為0.5-1。調參:防止overfitting。學習任務參數
learning_rate含義:學習率,控制每次迭代更新權重時的步長,默認0.3。調參:值越小,訓練越慢。典型值為0.01-0.2。 objective 目標函數回歸任務reg:linear (默認)reg:logistic 二分類binary:logistic 概率 binary:logitraw 類別多分類multi:softmax num_class=n 返回類別multi:softprob num_class=n 返回概率rank:pairwise eval_metric回歸任務(默認rmse)rmse--均方根誤差mae--平均絕對誤差分類任務(默認error)auc--roc曲線下面積error--錯誤率(二分類)merror--錯誤率(多分類)logloss--負對數似然函數(二分類)mlogloss--負對數似然函數(多分類) gamma懲罰項系數,指定節(jié)點分裂所需的最小損失函數下降值。調參: alphaL1正則化系數,默認為1 lambdaL2正則化系數,默認為1轉載于:https://www.cnblogs.com/san333/p/10803281.html
總結
以上是生活随笔為你收集整理的XGBoost的参数说明的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: QButtonGroup
- 下一篇: 显式锁select for update