導讀：為了解決模型的“黑盒”問題，科學家們提出了可解釋機器學習。除了預測的精準性之外，可解釋性也是機器學習模型是否值得信賴的重要衡量標準。

可解釋機器學習（IML）的核心思想在于選擇模型時，需要同時考慮模型的預測精度和可解釋性，并盡量找到二者之間的最佳平衡，它不像傳統黑盒模型僅考慮預測精度這一單項指標（如低MSE或高AUC）；它不僅能給出模型的預測值，還能給出得到該預測值的理由，進而實現模型的安全、透明和公平等特性。

作者：索信達控股 邵平 楊健穎 蘇思達 何悅 蘇鈺

來源：大數據DT（ID：hzdashuju）

在大數據時代，機器學習在提升產品銷售、輔助人類決策的過程中能夠起到很大的作用，但是計算機通常不會解釋它們的預測結果。

我們在使用機器學習模型時，常用的模型性能評價指標有精度、查準率、查全率、ROC曲線、代價曲線等。如果一個機器學習模型表現得很好，我們是否就能信任這個模型而忽視決策的理由呢？答案是否定的。

模型的高性能意味著模型足夠智能和“聰明”，但這不足以讓我們了解它的運作原理，因此我們需要賦予模型“表達能力”，這樣我們才能更加理解和信任模型。除了單一的性能評價之外，模型的評價還應該增加一個維度，以表示模型的“表達能力”，可解釋性就是其中一個。

01 可解釋性的定義

解釋指的是用通俗易懂的語言進行分析闡明或呈現。對于模型來說，可解釋性指的是模型能用通俗易懂的語言進行表達，是一種能被人類理解的能力，具體地說就是，能夠將模型的預測過程轉化成具備邏輯關系的規則的能力。

可解釋性通常比較主觀，對于不同的人，解釋的程度也不一樣，很難用統一的指標進行度量。我們的目標是希望機器學習模型能“像人類一樣表達，像人類一樣思考”，如果模型的解釋符合我們的認知和思維方式，能夠清晰地表達模型從輸入到輸出的預測過程，那么我們就會認為模型的可解釋性是好的。

在《機器學習的挑戰：黑盒模型正面臨這3個問題》例舉的基金營銷小場景中，雖然模型能夠判斷一個客戶有很大的可能性購買低風險、低收益的產品，但是模型不能解釋客戶傾向于購買低風險、低收益產品的更詳細的原因，因此也就無法提出對這個客戶來說更有針對性的營銷策略，從而導致營銷的效果不佳。

具備可解釋性的模型在做預測時，除了給出推薦的產品之外，還要能給出推薦的理由。例如，模型會推薦一個低收益產品的原因是，該客戶剛大學畢業，年紀還比較小，缺乏理財意識，金融知識也比較薄弱，盡管個人賬戶中金額不少，但是盲目推薦購買高收益產品，可能會由于其風險意識不足而導致更多的損失，因此可以通過一些簡單的低風險理財產品，讓客戶先體驗一下金融市場，培養客戶的理財興趣，過一段時間再購買高收益的產品。

模型的可解釋性和模型的“表達能力”越強，我們在利用模型結果進行決策時便能達到更好的營銷效果。

02 可解釋性的分類

可解釋機器學習的思想是在選擇模型時，同時考慮模型的預測精度和可解釋性，并盡量找到二者之間的最佳平衡。根據不同的使用場景和使用人員，我們大致可以將模型的可解釋性作以下分類。

1. 內在可解釋VS.事后可解釋

內在可解釋（Intrinsic Interpretability）指的是模型自身結構比較簡單，使用者可以清晰地看到模型的內部結構，模型的結果帶有解釋的效果，模型在設計的時候就已經具備了可解釋性。

如圖2-1所示，從決策樹的輸出結果中我們可以清楚地看到，兩個特征在不同取值的情況下，預測值存在差異。常見的內在可解釋模型有邏輯回歸、深度較淺的決策樹模型（最多不超過4層）等。

▲圖2-1 決策樹結果

事后可解釋（Post-hoc Interpretability）指的是模型訓練完之后，使用一定的方法增強模型的可解釋性，挖掘模型學習到的信息。

有的模型自身結構比較復雜，使用者很難從模型內部知道結果的推理過程，模型的結果也不帶有解釋的語言，通常只是給出預測值，這時候模型是不具備可解釋性的。事后可解釋是指在模型訓練完之后，通過不同的事后解析方法提升模型的可解釋性。

如圖2-2所示，利用事后解析的方法，可以對不同的模型識別結果給出不同的理由：根據吉他的琴頸識別出電吉他，根據琴箱識別出木吉他，根據頭部和腿部識別出拉布拉多。常用的事后解析方法有可視化、擾動測試、代理模型等。

▲圖2-2 事后解釋：a. 原始圖片，b. 解釋為電吉他的原因，c. 解釋為木吉他的原因，d. 解釋為拉布拉多的原因（來源：論文“"Why Should I Trust You?"—Explaining the Predictions of Any Classifier”）

2. 局部解釋VS.全局解釋

對于模型使用者來說，不同場景對解釋的需求也有所不同。對于整個數據集而言，我們需要了解整體的預測情況；對于個體而言，我們需要了解特定個體中預測的差異情況。

局部解釋指的是當一個樣本或一組樣本的輸入值發生變化時，解釋其預測結果會發生怎樣的變化。

例如，在銀行風控系統中，我們需要找到違規的客戶具備哪個或哪些特征，進而按圖索驥，找到潛在的違規客戶；當賬戶金額發生變化時，違規的概率會如何變化；在拒絕了客戶的信用卡申請后，我們也可以根據模型的局部解釋，向這些客戶解釋拒絕的理由。

圖2-2展示的既是事后解釋，也是一個局部解釋，是針對輸入的一張圖片作出的解釋。

全局解釋指的是整個模型從輸入到輸出之間的解釋，從全局解釋中，我們可以得到普遍規律或統計推斷，理解每個特征對模型的影響。

例如，吸煙與肺癌相關，抽煙越多的人得肺癌的概率越高。全局解釋可以幫助我們理解基于特征的目標分布，但一般很難獲得。

人類能刻畫的空間不超過三維，一旦超過三維空間就會讓人感覺難以理解，我們很難用直觀的方式刻畫三維以上的聯合分布。因此一般的全局解釋都停留在三維以下，比如，加性模型（Additive Model）需要在保持其他特征不變的情況下，觀察單個特征與目標變量的關系；樹模型則是將每個葉節點對應的路徑解釋為產生葉節點結果的規則。

3. 可解釋機器學習的研究方向

可解釋機器學習為模型的評價指標提供了新的角度，模型設計者在設計模型或優化模型時，應該從精度和解釋性兩個角度進行考慮。

圖2-3所示的是可解釋機器學習中模型精度和模型可解釋性的關系，由香港大學張愛軍教授提出，在學術界廣為流傳，圖2-3中的橫軸代表模型的可解釋性，越往正方向，代表模型的可解釋性越高；縱軸代表模型的精度，越往正方向，代表模型的精度越高。

▲圖2-3 可解釋機器學習：模型精度和模型可解釋性的關系（圖片來源：?香港大學張愛軍博士）

針對模型評價的兩個指標，可解釋機器學習有兩大研究方向，具體說明如下。

第一，對于傳統的統計學模型（比如決策樹、邏輯回歸、線性回歸等），模型的可解釋性較強，我們在使用模型時可以清楚地看到模型的內部結構，結果具有很高的可解釋性。

然而一般情況下，這些模型的精度較低，在一些信噪比較高（信號強烈，噪聲較少）的領域，擬合效果沒有當下的機器學習模型高。

在保持模型的可解釋性前提下，我們可以適當地改良模型的結構，通過增加模型的靈活表征能力，提高其精度，使得模型往縱軸正方向移動，形成內在可解釋機器學習模型。比如，保持模型的加性性質，同時從線性擬合拓展到非線性擬合，GAMI-Net、EBM模型均屬于內在可解釋機器學習模型。

第二，當下的機器學習模型（比如神經網絡、深度學習），其內部結構十分復雜，我們難以通過逐層神經網絡或逐個神經元觀察數據的變化，在一些信噪比較低（信號較弱，噪聲強）的領域，我們很容易把噪聲也擬合進去，不易發現其中的錯誤，模型的可解釋性較低。

為了提高模型的可解釋性，我們可以采用以下兩種方法：

降低模型結構的復雜度，如減少樹模型的深度，以犧牲模型的精度換取可解釋性；

保持模型原有的精度，在模型訓練完之后，利用事后輔助的歸因解析方法及可視化工具，來獲得模型的可解釋性。

無論采用哪一種方法，其目的都是讓模型往橫軸的正方向移動，獲取更多的可解釋性。LIME和SHAP等方法均屬于事后解析方法。

可解釋機器學習的研究在學術界和工業界都引發了熱烈的反響，發表的文章和落地應用逐年增長。無論是哪一個研究方向，可解釋機器學習研究的最終目的都是：

在保證高水平學習表現的同時，實現更具可解釋性的模型；

讓我們更理解、信任并有效地使用模型。

關于作者：邵平，資深數據科學家，索信達控股金融AI實驗室總監。在大數據、人工智能領域有十多年技術研發和行業應用經驗。技術方向涉及可解釋機器學習、深度學習、時間序列預測、智能推薦、自然語言處理等。現主要致力于可解釋機器學習、推薦系統、銀行智能營銷和智能風控等領域的技術研究和項目實踐。

楊健穎，云南財經大學統計學碩士，高級數據挖掘工程師，一個對數據科學有堅定信念的追求者，目前重點研究機器學習模型的可解釋性。

蘇思達，美國天普大學統計學碩士，機器學習算法專家，長期為銀行提供大數據與人工智能解決方案和技術服務。主要研究方向為可解釋機器學習與人工智能，曾撰寫《可解釋機器學習研究報告》和多篇可解釋機器學習相關文章。

本文摘編自《可解釋機器學習：模型、方法與實踐》，經出版方授權發布。（ISBN：9787111695714）

延伸閱讀《可解釋機器學習：模型、方法與實踐》

點擊上圖了解及購買

轉載請聯系微信：DoctorData

推薦語：國內金融人工智能一線團隊傾力打造，追蹤最前沿的研究進展，全面、系統地介紹了可解釋機器學習模型及方法。

干貨直達👇

• 6本書，讀懂2022年最火的邊緣計算
  

• 終于有人把幸存者偏差講明白了

• 機器學習的挑戰：黑盒模型正面臨這3個問題
  

• 詳解數據分析體系構成框架

更多精彩👇

在公眾號對話框輸入以下關鍵詞

查看更多優質內容！

讀書?|?書單?|?干貨?|?講明白?|?神操作?|?手把手

大數據?|?云計算?|?數據庫?|?Python?|?爬蟲?|?可視化

AI?|?人工智能?|?機器學習?|?深度學習?|?NLP

5G?|?中臺?|?用戶畫像?|?數學?|?算法?|?數字孿生

據統計，99%的大咖都關注了這個公眾號

👇

新人創作打卡挑戰賽發博客就能抽獎！定制產品紅包拿不停！

總結

以上是生活随笔為你收集整理的终于有人把可解释机器学习讲明白了的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。