代碼來(lái)自參考鏈接:
https://blog.csdn.net/leafage_m/article/details/79629074

本文的貢獻(xiàn)是:
①修正參考鏈接中,算法第3種情況中的投票問(wèn)題的相關(guān)代碼,
原文代碼函數(shù)makeTreeFull有誤,會(huì)導(dǎo)致生成圖4.4的"虛擬節(jié)點(diǎn)"(淺白色分支下面的葉子節(jié)點(diǎn))時(shí)會(huì)隨機(jī)出現(xiàn)好瓜和壞瓜
②在原有代碼基礎(chǔ)上增加熵顯示功能

----------------------------算法偽代碼-----------------------------------------------------

這裏的A{a*}的意思是已經(jīng)劃分過(guò)的特徵就不要再使用了.
所以是差集運(yùn)算
因爲(wèi)決策樹(shù)的話,離散特徵在作爲(wèi)最佳劃分特徵時(shí),只能使用一次

-------------------------------------------參考鏈接中作者歸納的3種截止條件---------------------------------------
偽代碼中結(jié)束遞歸的三個(gè)條件：

第2行：此時(shí)樣本D中的樣本全部都屬于一種類別，比如都是好瓜，那么此時(shí)就說(shuō)明不需要再劃分了。

第5行：如果此時(shí)屬性集合為空或者此時(shí)所有的樣本的各個(gè)屬性值都相同，比如剩了三個(gè)西瓜，這三個(gè)西瓜的根蒂、色澤、敲聲都是一樣的，這時(shí)候無(wú)法再根據(jù)屬性進(jìn)行劃分了，所以在這些剩下的西瓜中找出數(shù)目最多的類別。

第12：如果數(shù)據(jù)集在某一個(gè)屬性上沒(méi)有樣本，比如在經(jīng)過(guò)多次劃分，剩下的西瓜的色澤已經(jīng)沒(méi)有淺白這種瓜了，我們就讓此刻淺白這種瓜的類別等于當(dāng)前節(jié)點(diǎn)的父節(jié)點(diǎn)中樣本數(shù)目最多的類別。

---

也就是說(shuō),ID3算法講到兩種"投票"
一種是訓(xùn)練集中存在一部分?jǐn)?shù)據(jù)集,他們的屬性取值完全一致,但是類別不同時(shí)
進(jìn)行投票,也就是算法僞代碼中的第2種情況
一種是訓(xùn)練集中不存在這部分?jǐn)?shù)據(jù),需要補(bǔ)全葉子節(jié)點(diǎn),這個(gè)時(shí)候,以父節(jié)點(diǎn)中,佔(zhàn)比例最多的類別作爲(wèi)"虛擬節(jié)點(diǎn)"的類別,也就是投票,對(duì)應(yīng)算法僞代碼中的第3種情況

-------------最終繪制結(jié)果如下-------------------------------------------
所有第3種情況生成的葉子節(jié)點(diǎn),都帶有"(虛)"字樣,
表示該葉子節(jié)點(diǎn)對(duì)應(yīng)的數(shù)據(jù)在原訓(xùn)練集中不存在.

周志華<機(jī)器學(xué)習(xí)>第78頁(yè)-圖-4.4–西瓜數(shù)據(jù)集2.0(代碼自帶數(shù)據(jù)集)

書(shū)上的結(jié)果：

周志華<機(jī)器學(xué)習(xí)>第-89頁(yè)-圖4.9–西瓜數(shù)據(jù)集2.0a(代碼自帶數(shù)據(jù)集)

書(shū)上的插圖是：

注意,上面兩個(gè)圖中每個(gè)節(jié)點(diǎn)顯示的是"當(dāng)前數(shù)據(jù)集"的"標(biāo)簽列"的信息熵.
另外,熵只能用來(lái)計(jì)算節(jié)點(diǎn)包含的信息,不能跨層描述樹(shù)枝.
不能描述整個(gè)分類事件,整個(gè)分類事件需要用概念來(lái)描述,
概念上需要注意這一點(diǎn).

完整代碼如下:
https://github.com/appleyuchi/Decision_Tree_Prune/tree/master/處理離散數(shù)據(jù)的決策樹(shù)-ID3完整版-python-可視化-圖4.4和4.9/python3版本/帶熵顯示-修改完
在python3.5下運(yùn)行通過(guò)

總結(jié)

以上是生活随笔為你收集整理的周志華《機器學習》圖4.4和图4.9繪制(轉載+增加熵顯示功能)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。