最近時(shí)晴又發(fā)現(xiàn)了個(gè)煉丹神器Shapash,就迫不及待的要推薦給大家.這是個(gè)python的開源庫(kù),可以讓煉丹師們?cè)跓挼み^(guò)程中理解自己為什么能練出"好"丹.相信諸位煉丹師和我一樣,不僅追求一個(gè)好的模型,同時(shí)也追究模型的可解釋性,廢話不多說(shuō),我們看看"太陽(yáng)女神"如何解釋我們的模型吧.

Shapash

shapash適用于很多模型:Catboost,Xgboost,LightGBM,Sklearn Ensemble等.可以簡(jiǎn)單的用pip進(jìn)行安裝:

$pip install shapash

我們用一個(gè)實(shí)際的例子來(lái)說(shuō)明shapash的用法.我們先訓(xùn)練一個(gè)回歸模型,用于預(yù)測(cè)房?jī)r(jià).數(shù)據(jù)下載鏈接:https://www.kaggle.com/c/house-prices-advanced-regression-techniques

先用shapash讀入數(shù)據(jù):

import pandas as pd from shapash.data.data_loader import data_loading # house_dict里面是特征名到特征含義的映射house_df, house_dict = data_loading('house_prices') y_df=house_df['SalePrice'].to_frame() X_df=house_df[house_df.columns.difference(['SalePrice'])]

看下數(shù)據(jù)如下:

對(duì)類別特征進(jìn)行編碼:

from category_encoders import OrdinalEncodercategorical_features = [col for col in X_df.columns if X_df[col].dtype == 'object'] encoder = OrdinalEncoder(cols=categorical_features).fit(X_df) X_df=encoder.transform(X_df)

我們可以看到,所有特征都變成數(shù)值了:

找個(gè)任意的回歸模型訓(xùn)練,這里我用隨機(jī)森林:

from sklearn.model_selection import train_test_split from sklearn.ensemble import RandomForestRegressor Xtrain, Xtest, ytrain, ytest = train_test_split(X_df, y_df, train_size=0.75) reg = RandomForestRegressor(n_estimators=200, min_samples_leaf=2).fit(Xtrain,ytrain) #預(yù)估測(cè)試集 y_pred = pd.DataFrame(reg.predict(Xtest), columns=['pred'], index=Xtest.index)

這里我們不探討該模型效果,直接看看如何用"太陽(yáng)女神"解釋該模型:

from shapash.explainer.smart_explainer import SmartExplainer xpl = SmartExplainer(features_dict=house_dict) # Optional parameter xpl.compile(x=Xtest,model=reg,preprocessing=encoder,# Optional: use inverse_transform methody_pred=y_pred # Optional )

然后使用一行代碼,就可以解釋模型了:

app = xpl.run_app()

我們可以看到特征重要性:

已經(jīng)特征多大程度影響預(yù)估:

當(dāng)我們選擇特征重要性最低的特征時(shí),可以發(fā)現(xiàn)該特征影響的樣本較少,影響值的范圍也小了很多(-2000~2000).

此外還有一些可視化的特性等待大家探索:

總結(jié)

以上是生活随笔為你收集整理的算法模型该如何解释？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。