一、缺失值處理 isnull( ) 、fillna( ) 、dropna( )

（1）查看

• 缺失

查看數(shù)據(jù)集缺失，返回每列的缺失個數(shù) df.isnull().sum()

查看某字段有缺失的行 df[df.a.isnull()]

查看某字段每行的缺失情況：返回T/F：df.score.isnull() 、返回0/1：df.score.isnull().astype(int)

• 缺失占比

返回每列的缺失占比：df.apply(lambda col:sum(col.isnull())/col.size)

行的缺失占比大于60%的列：data.ix[data.isnull().sum(axis=1)/data.shape[1]>0.6,:]

列的缺失占比大于60%的行：data.isnull().sum(axis=0)/data.shape[0]>0.6

• 可視化

import missingno as msno

msno.bar(Customer, color='IndianRed')

（2）填補(bǔ) fillna

• 以指定值填補(bǔ)：

#填補(bǔ)一列：df.a.fillna(df.a.mean/median())，#mean：使用均值填補(bǔ)、median：使用中位數(shù)填補(bǔ)

#填補(bǔ)多列：

fill_cols=['a','b','c']

fill_values={col:df[col].mode()[0] for col in fill_cols} #使用每個字段的值的眾數(shù)填補(bǔ)

df=df.fillna(fill_values)

• 通過字典調(diào)用fillna：df.fillna({'a': 0.55, 'b': 0.66} , inplace=True)
• df.fillna(method='ffill', limit=2) limit：對于前向和后向填充可以連續(xù)填充的最大數(shù)量
• 利用隨機(jī)森林對缺失值預(yù)測填充函數(shù)

def set_missing(df):

# 把已有的數(shù)值型特征取出來

process_df = df.ix[:,[12,1,2,3,4,5,6,7,8,9,10,14,16]]

# 分成已知該特征和未知該特征兩部分

known = process_df[process_df.StockMoney>0].as_matrix()

unknown = process_df[process_df.StockMoney==0].as_matrix()

# X為特征屬性值

X = known[:, 1:]

# y為結(jié)果標(biāo)簽值

y = known[:, 0]

# fit到RandomForestRegressor之中

rfr = RandomForestRegressor(random_state=0,

n_estimators=200,max_depth=3,n_jobs=-1)

rfr.fit(X,y)

# 用得到的模型進(jìn)行未知特征值預(yù)測

predicted = rfr.predict(unknown[:, 1:]).round(0)

print(predicted)

# 用得到的預(yù)測結(jié)果填補(bǔ)原缺失數(shù)據(jù)

df.loc[(df.StockMoney==0), 'StockMoney'] = predicted

return df

Data=set_missing(data07)

（3）刪除 dropna

• df=df.dropna(subset=['a','b','c'],how='any'/'all',inplace=True)
• 刪除缺失率超過80%的字段（首先篩選缺失超過80%的列）：df.drop(columns=['a','b'])
• df.dropna(thresh=2) 這一行除去NA值，剩余數(shù)值的數(shù)量大于等于2，便顯示這一行。

二、重復(fù)值處理duplicated( )、drop_duplicates( )

（1）查看

• 查看數(shù)據(jù)集重復(fù)，返回重復(fù)的行數(shù)

df.duplicated().sum()

(df.duplicated(subset=['a','b','c'])).sum()

• 查看指定字段有的重復(fù)的行

df[df.a.duplicated()]

df[df.duplicated(subset=['a','b','c'])] #isnull( )沒有此用法

• 查看指定字段的重復(fù)情況，返回T/F：df.a.duplicated()、返回0/1：df.a.duplicated().astype(int)

（2）去重

• df.drop_duplicates()

df.drop_duplicates(subset=None, keep='first', inplace=False)

keep : {‘first’, ‘last’, False}, default first’刪除重復(fù)項并保留第一次出現(xiàn)的項(duplicated和drop_duplicates默認(rèn)保留的是第一個出現(xiàn)的值組合)

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的python数据预处理_Python数据预处理——缺失值、重复值的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。