xgboost重要参数2为主但不全要参照1
相信小伙伴都用過XGBoost模型了，因為效果好，透明易解釋等優點，XGBoost已經成為了特別流行的算法模型，小編今天也來介紹一下XGBoost調參。
一、XGBoost參數解釋
XGBoost有三類參數：
1.通用參數：模型的宏觀參數，控制了模型的宏觀功能，比如booster、nthread、slience。
2.Booster參數：控制每一步booster tree或regression的生成。
3.學習目標參數：決定了學習目標，如損失函數或者評價函數等。
1.1通用函數：
1、booster[默認gbtree]
選擇每次迭代的模型，有兩種選擇：
gbtree：基于樹的模型進行提升
gbliner：基于線性模型進行提升
默認是gbtree，一般gbtree的效果遠遠勝于gbliner
2、silent[默認0]
當這個參數值為1時，靜默模式開啟，即表示不打印任何運行信息。一般這個參數就保持默認的0，因為這樣能幫我們更好地理解模型。
3、nthread[默認值為最大可能的線程數]
這個參數用來進行多線程控制，應當輸入系統的核數。默認是當前系統最大線程數。
4、num_pbuffer[系統自動設置]
5、num_feature[系統自動設置]
1.2booster參數
這里以gbtree為例進行介紹：
1、eta[默認0.3]
學習速率，用于控制樹的權重，xgb模型在進行完每一輪迭代之后，會將葉子節點的分數乘上該系數，以便于削弱各棵樹的影響，避免過擬合。
一般對eta進行調優時會結合迭代次數進行考慮。
如增加eta，就減少迭代次數。反之亦然。
2、min_child_weight[默認1]
表示最小葉子節點樣本權重的和。可用于避免過擬合。當它的值較大時，可以避免模型學習到局部的特殊樣本。但是如果這個值過高，會導致欠擬合。這個參數需要使用CV來調整。
3、max_depth[默認6]
表示樹的最大深度。也是用來避免過擬合的。當它的值越大時，模型會學到更具體更局部的樣本，可能會導致過擬合。需要使用CV函數來進行調優。 典型值：3-10
4、max_leaf_nodes
表示樹上最大的節點或葉子的數量。可以替代max_depth的作用。因為如果生成的是二叉樹，一個深度為n的樹最多生成n2個葉子。
5、gamma[默認0]
在節點分裂時，只有分裂后損失函數的值下降了，才會分裂這個節點。Gamma指定了節點分裂所需的最小損失函數下降值。 這個參數的值越大，算法越保守。這個參數的值和損失函數息息相關，所以是需要調整的。
6、max_delta_step[默認0]
這參數限制每棵樹權重改變的最大步長。如果這個參數的值為0，那就意味著沒有約束。如果它被賦予了某個正值，那么它會讓這個算法更加保守。 通常，這個參數不需要設置。但是當各類別的樣本十分不平衡時，它對邏輯回歸是很有幫助的。這個參數一般用不到，但是你可以挖掘出來它更多的用處。
7、subsample[默認1]
這個參數控制對于每棵樹，隨機采樣的比例。減小這個參數的值，算法會更加保守，避免過擬合。但是，如果這個值設置得過小，它可能會導致欠擬合。 典型值：0.5-1
8、colsample_bytree[默認1]
和GBM里面的max_features參數類似。用來控制每棵隨機采樣的列數的占比(每一列是一個特征)。 典型值：0.5-1
9、colsample_bylevel[默認1]
用來控制樹的每一級的每一次分裂，對列數的采樣的占比。我個人一般不太用這個參數，因為subsample參數和colsample_bytree參數可以起到相同的作用。但是如果感興趣，可以挖掘這個參數更多的用處。
10、lambda[默認1]
權重的L2正則化項。(和Ridgeregression類似)。 這個參數是用來控制XGBoost的正則化部分的。雖然大部分數據科學家很少用到這個參數，但是這個參數在減少過擬合上還是可以挖掘出更多用處的。
11、alpha[默認1]
權重的L1正則化項。(和Lassoregression類似)。 可以應用在很高維度的情況下，使得算法的速度更快。
12、scale_pos_weight[默認1]
在各類別樣本十分不平衡時，把這個參數設定為一個正值，可以使算法更快收斂。
1.3學習任務參數
這個參數用來控制理想的優化目標和每一步結果的度量方法。
1、objective[默認reg:linear]
這個參數定義需要被最小化的損失函數。最常用的值有：
binary：logistic
binary：logitraw
2、eval_metric[默認值取決于objective參數的取值]
評價模型的指標，主要是對驗證集進行評價。對于回歸問題，默認值是rmse，對于分類問題，默認值是error。典型值有：
rmse均方根誤差
mae 平均絕對誤差
logloss負對數似然函數值
error二分類錯誤率(閾值為0.5)
merror多分類錯誤率
mlogloss多分類logloss損失函數
auc曲線下面積
3、seed(默認0)
隨機數的種子 設置它可以復現隨機數據的結果，也可以用于調整參數。
二、XGBoost調參示例
以下主要用網格搜索和隨機搜索做示例：
原始數據集還是用小編上傳在github上的數據集。
本篇文章使用CV進行調參，
首先定義一個XGBoost CV 函數， 它可以建立xgb模型并可以進行交叉驗證。
接下來就開始進行調參了：
1. 選擇較高的學習速率(learningrate)。一般情況下，學習速率的值為0.1。但是，對于不同的問題，理想的學習速率有時候會在0.05到0.3之間波動。選擇對應于此學習速率的理想決策樹數量。
2. 對于給定的學習速率和決策樹數量，進行決策樹特定參數調優(max_depth, min_child_weight, gamma, subsample, colsample_bytree)。在確定一棵樹的過程中，我們可以選擇不同的參數。
3.xgboost的正則化參數的調優。(lambda, alpha)。這些參數可以降低模型的復雜度，從而提高模型的表現。
4. 降低學習速率，確定理想參數。
未完待續。。。
謝謝大家返回搜狐，查看更多
責任編輯：
20201203
max_depth 和 max_leaf_nodes
二者可以替代,只需設置其中一個就可以了
gamma:在最大深度或者最大結點數量之內 如果分裂后損失函數的值下降了,就會分裂這個節點
max_delta_step:賦予正值 意味著 給了其取最大值的限制 所以說保守
subsample:這個參數控制對于每棵樹，隨機采樣的比例 是對樣本采樣
colsample_bytree:和GBM里面的max_features參數類似。用來控制每棵隨機采樣的列數的占比
alpha[默認1]
權重的L1正則化項。(和Lassoregression類似)。 可以應用在很高維度的情況下，使得算法的速度更快。
scale_pos_weight[默認1]
在各類別樣本十分不平衡時，把這個參數設定為一個正值，可以使算法更快收斂。
總結
以上是生活随笔為你收集整理的xgboost重要参数2为主但不全要参照1的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： xgboost重要参数1
- 下一篇： batch normalization