數(shù)據(jù)的預(yù)處理

通過特征提取，我們能得到未經(jīng)處理的特征，這時(shí)的特征可能有以下問題：

不屬于同一量綱： 即特征的規(guī)格不一樣，不能夠放在一起比較。無量綱化可以解決這一問題。

信息冗余： 對(duì)于某些定量特征，其包含的有效信息為區(qū)間劃分，例如學(xué)習(xí)成績(jī)，假若只關(guān)心“及格”或不“及格”，那么需要將定量的考分，轉(zhuǎn)換成“1”和“0”表示及格和未及格。二值化可以解決這一問題。

定性特征不能直接使用： 某些機(jī)器學(xué)習(xí)算法和模型只能接受定量特征的輸入，那么需要將定性特征轉(zhuǎn)換為定量特征。最簡(jiǎn)單的方式是為每一種定性值指定一個(gè)定量值，但是這種方式過于靈活，增加了調(diào)參的工作。通常使用啞編碼的方式將定性特征轉(zhuǎn)換為定量特征：假設(shè)有N種定性值，則將這一個(gè)特征擴(kuò)展為N種特征，當(dāng)原始特征值為第i種定性值時(shí)，第i個(gè)擴(kuò)展特征賦值為1，其他擴(kuò)展特征賦值為0。啞編碼的方式相比直接指定的方式，不用增加調(diào)參的工作，對(duì)于線性模型來說，使用啞編碼后的特征可達(dá)到非線性的效果。

存在缺失值： 缺失值需要補(bǔ)充。

信息利用率低： 不同的機(jī)器學(xué)習(xí)算法和模型對(duì)數(shù)據(jù)中信息的利用是不同的，之前提到在線性模型中，使用對(duì)定性特征啞編碼可以達(dá)到非線性的效果。類似地，對(duì)定量變量多項(xiàng)式化，或者進(jìn)行其他的轉(zhuǎn)換，都能達(dá)到非線性的效果。

我們 使用sklearn中的preproccessing庫(kù) 來進(jìn)行數(shù)據(jù)預(yù)處理，可以覆蓋以上問題的解決方案。

總結(jié)

以上是生活随笔為你收集整理的数据预处理的概念的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。