前言

在講如何通過樹模型做特征工程之前，首先讓我們回顧一下一個機器學習（除去深度學習項目部分）項目的大致流程：

• 從業務場景中抽象出問題——分類問題，回歸問題，還是聚類問題等，
• 接下來是數據獲取，數據清洗，探索性數據分析(EDA)等數據預處理方面的工作，
• 然后就是特征工程（Feature Engineering），這部分需要人工對數據進行理解，采取一些手動或者自動的方法，挖掘出重要的特征或者一些有聯系的組合特征，這一步在機器學習項目中極其關鍵，
• 選擇和應用場景以及數據類型相符合的機器學習模型，調參數，模型融合，提升模型性能效果。
• 上線，同時監測模型線上效果，并不斷優化模型。

 

GBDT + LR 原理部分

今天在這里并不會介紹如何去在某個數據中發現"強特"，而是介紹一種偷懶的方式，采用樹模型幫助我們做特征工程。而這種思想是在2014年有facebook提出，當時主要是為了解決廣告預估問題(CTR),論文名為 Practical Lessons from Predicting Clicks on Ads atFacebook，主要內容就是：

• 將原始的數據通過梯度提升樹（GBDT）進行擬合，然后就可以得到一顆已經非常了解樣本數據的樹。
• 2.然后再將訓練數據通過（GBDT），這樣每一個數據輸入書模型會得到一些葉子節點，如下圖所示，這顆樹有5個

總結

以上是生活随笔為你收集整理的深度学习核心技术精讲100篇（二十）-如何通过树模型实现梯度提升树(GBDT)+LR,随机森林(RandomForest) +LR的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。