一、LightGBM模型

1、XGBoost缺點

• 每輪迭代時，都需要遍歷整個訓練數據多次。如果把整個訓練數據裝進內存則會限制訓練數據的大小；如果不裝進內存，反復地讀寫訓練數據又會消耗非常大的時間。
• 預排序方法（pre-sorted）：首先，空間消耗大。這樣的算法需要保存數據的特征值，還保存了特征排序的結果（例如排序后的索引，為了后續快速的計算分割點），這里需要消耗訓練數據兩倍的內存。其次時間上也有較大的開銷，在遍歷每一個分割點的時候，都需要進行分裂增益的計算，消耗的代價大。
• 對cache優化不友好。在預排序后，特征對梯度的訪問是一種隨機訪問，并且不同的特征訪問的順序不一樣，無法對cache進行優化。同時，在每一層長樹的時候，需要隨機訪問一個行索引到葉子索引的數組，并且不同特征訪問的順序也不一樣，也會造成較大的cache miss。

2、LightGBM簡介

LightGBM模型是一種boosting框架，包含兩個關鍵點：light即輕量級，GBM 梯度提升機。它可以說是分布式的，高效的，有以下優勢：

• 更快的訓練效率
• 低內存使用
• 更高的準確率
• 支持并行化學習
• 可處理大規模數據

3、LightGBM的特點

• 基于Histogram的決策樹算法
• 帶深度限制的Leaf-wise的葉子生長策略
• 直方圖做差加速
• 直接支持類別特征(Categorical Feature)
• Cache命中率優化
• 基于直方圖的稀疏特征優化
• 多線程優化

（１）Histogram算法

基本思想：先把連續的浮點特征值離散化成k個整數，同時構造一個寬度為k的直方圖。遍歷數據時，根據離散化后的值作為索引在直方圖中累積統計量，當遍歷一次數據后，直方圖累積了需要的統計量，然后根據直方圖的離散值，遍歷尋找最優的分割點。

（２）帶深度限制的Leaf-wise的葉子生長策略

Level-wise過一次數據可以同時分裂同一層的葉子，容易進行多線程優化，也好控制模型復雜度，不容易過擬合。但實際上Level-wise是一種低效算法，因為它不加區分的對待同一層的葉子，帶來了很多沒必要的開銷，因為實際上很多葉子的分裂增益較低，沒必要進行搜索和分裂。

Leaf-wise則是一種更為高效的策略：每次從當前所有葉子中，找到分裂增益最大的一個葉子，然后分裂，如此循環。因此同Level-wise相比，在分裂次數相同的情況下，Leaf-wise可以降低更多的誤差，得到更好的精度。

Leaf-wise的缺點：可能會長出比較深的決策樹，產生過擬合。因此LightGBM在Leaf-wise之上增加了一個最大深度限制，在保證高效率的同時防止過擬合。

二、LightGBM參數

LightGBM參數包括：核心參數，學習控制參數，IO參數，目標參數，度量參數，網絡參數，GPU參數，模型參數，這里常修改的便是核心參數，學習控制參數，度量參數等。

所有的參數含義，參考：http://lightgbm.apachecn.org/cn/latest/Parameters.html

調參過程：

• num_leaves
  • LightGBM使用的是leaf-wise的算法，因此在調節樹的復雜程度時，使用的是num_leaves而不是max_depth。
  • 大致換算關系：$nu{m}_{l}eaves=2^{(}ma{x}_{d}epth)$
• 樣本分布非平衡數據集：可以param[‘is_unbalance’]=’true’
• Bagging參數：bagging_fraction+bagging_freq（必須同時設置）、feature_fraction
• min_data_in_leaf、min_sum_hessian_in_leaf

三、lightGBM實現

# -*- coding: utf-8 -*- import pickle import lightgbm as lgb import pandas as pd from sklearn.metrics import mean_squared_error from sklearn.model_selection import GridSearchCV from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_scorefp = open('./features/data_tfidf_train.pkl', 'rb') x_train,y_train = pickle.load(fp) x_train, x_test, y_train, y_test = train_test_split(x_train, y_train, test_size=0.3, random_state=2019)print('Start training...') # 創建模型，訓練模型 estimator=lgb.sklearn.LGBMClassifier(num_leaves=31,learning_rate=0.05,n_estimators=20) estimator.fit(x_train,y_train) print('Start predicting...') y_pred = estimator.predict(x_test) # 模型評估 print('The rmse of prediction is:', mean_squared_error(y_test, y_pred) ** 0.5) #f1_score label = [] for i in range(1, 20):label.append(i) f1 = f1_score(y_test, y_pred, labels=label, average='micro') print('The F1 Score of lightgbm classifier: ' + str("%.2f" % f1))

輸出結果

Start training... Start predicting... The rmse of prediction is: 5.1609562285 The F1 Score of lightgbm classifier: 0.59

總結

以上是生活随笔為你收集整理的【数据竞赛】“达观杯”文本智能处理挑战赛５的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。