機器學習之數據預處理——降噪

上一節學習線性回歸法填補缺失值和拉格朗日插值法，這節課學習采用等深分箱的方式進行數據降噪處理。

1.降噪方法

money=[800,1000,1200,1500,1600,1800,2000,2300,\2500,2800,3000,3500,4000,4500,4800,5000] cut1=pd.cut(pd.Series(money), bins=[0,1000,2000,3000,4000,5000])#設定分箱區間 #0可以寫，也可以不寫 print(pd.value_counts(cut1)) cut3=pd.qcut(pd.Series(money), 4)#設定分箱數，每組數據量相同 print(pd.value_counts(cut3))

2.分箱平滑

#平滑噪聲—等深分箱—均值平滑 import pandas as pd import numpy as np def aequilatus_box_mean(data,bins):length=data.shape[0]labels=[]for i in range(bins):labels.append('a'+str(i+1))#添加標簽new_data=pd.qcut(data.iloc[:,0],bins,labels=labels)#等深分箱data['label']=new_datafor label in labels:label_index_min=data[data.label==label].index.min()#分箱后索引最小值label_index_max=data[data.label==label].index.max()#分箱后索引最大值data.loc[label_index_min:label_index_max,data.columns[0]]=np.mean(data.A[label_index_min:label_index_max+1,])#根據label及索引，修改A為各箱均值return dataif __name__=="__main__":data=pd.DataFrame({'A':[11,13,15,20,20,23,26,29,35]})bins=3print("均值平滑")print(aequilatus_box_mean(data,3))

#平滑噪聲—等深分箱—中值平滑 import pandas as pd import numpy as np def aequilatus_box_median(data,bins):length=data.shape[0]labels=[]for i in range(bins):labels.append('a'+str(i+1))new_data=pd.qcut(data.A,bins,labels=labels)#等深分箱data['label']=new_datafor label in labels:label_index_min=data[data.label==label].index.min()#分箱后索引最小值label_index_max=data[data.label==label].index.max()#分箱后索引最大值data.loc[label_index_min:label_index_max,'A']=np.median(data.A[label_index_min:label_index_max+1,])#根據label及索引，修改A為各箱均值return data if __name__=="__main__":data=pd.DataFrame({'A':[11,13,15,20,20,23,26,29,35]})bins=3print("中值平滑")print(aequilatus_box_median(data,3))

#平滑噪聲—等深分箱—邊界平滑 import pandas as pd import numpy as np def aequilatus_box_border(data,bins):length=data.shape[0]labels=[]for i in range(bins):labels.append('a'+str(i+1))new_data=pd.qcut(data.A,bins,labels=labels)#等深分箱data['label']=new_datafor label in labels:label_index_min=data[data.label==label].index.min()label_index_max=data[data.label==label].index.max()data_min=np.min(data.A[label_index_min:label_index_max+1,])data_max=np.max(data.A[label_index_min:label_index_max+1,])for i in range(label_index_min,label_index_max): if(data.loc[i,'A']==data_min or data.loc[i,'A']==data_max):data.loc[i,'A']=data.loc[i,'A']elif(np.abs(data.loc[i,'A']-data_min)<=np.abs(data.loc[i,'A']-data_max)):data.loc[i,'A']=data_minelse:data.loc[i,'A']=data_maxreturn data if __name__=="__main__":data=pd.DataFrame({'A':[11,12,15,21,20,23,26,29,35]})bins=3print("邊界平滑")print(aequilatus_box_border(data,3))

編寫打磨課件不易，走過路過別忘記給咱點個贊，小女子在此(?′ω`?)謝過！如需轉載，請注明出處，Thanks?(･ω･)ﾉ

參考文獻：

1.https://blog.csdn.net/weixin_40192436/article/details/86706231

2.https://www.cnblogs.com/serena45/p/5559122.html

3.https://www.jianshu.com/p/389682aa5429

總結

以上是生活随笔為你收集整理的机器学习之数据预处理——降噪的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。