1.7特征選擇

特征選擇對機(jī)器學(xué)習(xí)至關(guān)重要，個(gè)人認(rèn)為在大部分機(jī)器學(xué)習(xí)任務(wù)中特征就決定了效果的上限，模型的選擇與組合只是無限逼近于這個(gè)上限。

特征選擇的主要作用包括：減少特征數(shù)量會(huì)防止維度災(zāi)難，減少訓(xùn)練時(shí)間；增強(qiáng)模型泛化能力，減少過擬合；增強(qiáng)對特征和特征值的理解。

常見的特征選擇方法如下：

去除取值變化小的特征：如果絕大部分實(shí)例的某個(gè)特征取值一樣，那這個(gè)特征起到的作用可能就比較有限，極端情況下如果所有實(shí)例的某特征取值都一樣，那該特征基本就不起作用。

單變量特征選擇法：能夠?qū)γ恳粋€(gè)特征進(jìn)行測試，衡量該特征和響應(yīng)變量之間的關(guān)系，根據(jù)得分扔掉不好的特征。常見方法包括卡法檢驗(yàn)、互信息、皮爾森相關(guān)系數(shù)、距離相關(guān)系數(shù)、基于學(xué)習(xí)模型的特征排序(Model based ranking)等。

正則化：L1正則化、L2正則化。

隨機(jī)森林特征選擇：這類方法主要包括平均不純度減少(mean decrease impurity)和平均精確率減少(Mean decrease accuracy)兩種方法。

頂層特征選擇法：這類方法主要包括穩(wěn)定性選擇(Stability selection)和遞歸特征消除(Recursive feature elimination)兩種方法。

https://zhuanlan.zhihu.com/p/46320419

總結(jié)

以上是生活随笔為你收集整理的特征选择对于机器学习重要性的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。