一、基本內容

1.基本流程

決策樹的生成過程是一個遞歸過程，有三種情形會導致遞歸返回

（1）當前節點包含的yangben全屬于同一類別，無需劃分；

（2）當前屬性集為空，或是所有yangben在所有屬性上的取值相同，無法劃分；

（3）當前結點包含的yangben集合為空，不能劃分

2.劃分選擇

2.1信息增益：對可取值數目較多的屬性有所偏好

2.2增益率:對可取值數目較少的屬性有所偏好 C4.5算法啟發式

2.3基尼指數：CART決策樹

3.剪枝處理:決策樹學習算法中對付過擬合的主要手段

3.1預剪枝：降低過擬合風險，減少決策樹的訓練時間開銷和測試時間開銷，有欠擬合風險

3.2后剪枝：欠擬合風險很小，泛化性能往往由于預剪枝，但是訓練時間開銷很大

4.連續與缺失值

4.1連續值處理 C4.5決策樹算法

4.2缺失值處理

C4.5 解決兩個問題(1)如何在屬性值缺失的情況下進行劃分屬性選擇？

（2）給定劃分屬性，若yangben在該屬性上的值缺失，如何對yangben進行劃分？

5.多變量決策樹

決策樹自己學習的時候寫了一些代碼，有點還沒有完成。以后有時間會補上

https://github.com/makang101/machinelearning/tree/master/chapter4decisionTree

二、課后習題

?

總結

以上是生活随笔為你收集整理的《机器学习》 周志华学习笔记第四章 决策树（课后习题）python 实现的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。