一、包

## 基礎工具 import numpy as np import pandas as pd import warnings import matplotlib import matplotlib.pyplot as plt import seaborn as sns from IPython.display import display, clear_output import timewarnings.filterwarnings('ignore') %matplotlib inline## 模型預測 from sklearn import linear_model from sklearn import preprocessing # 標準化 from sklearn.svm import SVR from sklearn.ensemble import RandomForestRegressor,GradientBoostingRegressor## 數據降維處理 from sklearn.decomposition import PCA,FastICA,FactorAnalysis,SparsePCAimport lightgbm as lgb import xgboost as xgb## 參數搜索和評價 from sklearn.model_selection import GridSearchCV,cross_val_score,StratifiedKFold,train_test_split from sklearn.metrics import mean_squared_error, mean_absolute_error from sklearn.metrics import roc_curve,auc,accuracy_score

二、模型的保存和加載

from sklearn.externals import joblib # 保存 joblib.dump(estimator, ‘test.pkl’) # 加載 estimator = joblib.load(‘test.pkl’) y_predict_test = estimator.predict(x_test)

三、變量

1.分類型變量 df.x.value_counts() #如果不均衡很嚴重，可能影響建模效果

四、標準化

（一）報錯：

a.沒有重置索引，盡量避免等式左右都是df，可以取df_temp
b.包含空值或者無窮值

np.isfinite(df2_cluster).all() df_scale=df_scale.replace([np.inf, -np.inf], np.nan).dropna().reset_index(drop=True)

（二）適用數據：

只適用于連續型變量，類別型變量不能標準化。因為標準化的目的是消除量綱，而類別變量沒有量綱這一說法。

（三）代碼操作

from sklearn import preprocessing # 標準化 df_scale=pd.DataFrame(preprocessing.StandardScaler().fit_transform(df),columns=['x1','x2'])

五、去噪聲

卡曼爾濾波的原理：
結合多個研究變量的相關變量，通過動態調整各個變量的比例，迭代估算出結果

# 時間序列查看波動性 sns.lineplot(x=df.t,y=df.x1) # 卡爾曼濾波函數 from pykalman import KalmanFilter def Kalman1D(observations,damping=1): # 參數是list格式# To return the smoothed time series dataobservation_covariance = dampinginitial_value_guess = observations[0]transition_matrix = 1transition_covariance = 0.1initial_value_guesskf = KalmanFilter(initial_state_mean=initial_value_guess,initial_state_covariance=observation_covariance,observation_covariance=observation_covariance,transition_covariance=transition_covariance,transition_matrices=transition_matrix)pred_state, state_cov = kf.smooth(observations)return pred_state# 變量去噪聲 df['x2']=Kalman1D(df.x1.tolist())

總結

以上是生活随笔為你收集整理的建模常用Python代码的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。