目錄

什么是可解釋性

為什么需要可解釋性

神經網絡可解釋性的分類

?

?1. 按照邏輯規則解釋（Rule as Explanation）

2. 按照語義進行解釋

3. 通過示例進行解釋

4. 按照屬性解釋

LIME相關介紹

可解釋性總結

---

什么是可解釋性

????????理想情況下，嚴謹的數學符號-邏輯規則是最好的解釋。 但是實際上人們往往不強求“完整的解釋”，只需要關鍵信息和一些先驗知識。

????????不同領域的模型解釋需要建立在不同的領域術語之上，不可能或者目前難以用數學邏輯符號來解釋。例如計算機視覺中的image patches，NLP中的單詞等。而可理解的術語可以理解為計算機跟我們人類能夠溝通的語言。以前我們很多研究關于人類跟計算機表達的語言例如計算機指令，現在是反過來計算機根據現有的模型給我們解釋。

????????Lipton 的 文章?The Mythos of Model Interpretability?試圖說明什么是可解釋性，他在文章中問了很多發人深思的問題。比如，我們什么時候需要可解釋能力？如果一個模型的精確度很高，百分百正確，我們可能不需要可解釋能力。如果一個模型精度不夠高，我們就會急切想知道機器為何出錯。如果機器出錯的地方，也是人類出錯的地方，那么人們可能將心比心，不會削弱對機器的信任。對于人類不容易出錯，但機器卻出錯的地方，人類對機器的信任度就會急劇降低。比如對抗樣本攻擊，在熊貓圖片中加些精心設計的噪聲，人類仍然能容易的識別出是熊貓，機器卻會將其判斷為長臂猿。這時候，人類就急切的需要知道機器為何會做出這種判斷。人類需要可解釋能力的另一個原因是機器與人類目標的錯位。有時候人類想要的是因果關系，但監督學習給出來的只是相關關系。還有可能機器在offline 數據上做了訓練，但當部署到日常生活中，會有輸入不一致，輸入隨時間變化，輸入空間因為機器的部署而發生變化等各種問題。這種時候，人類一定想知道究竟發生了什么呢？是不是輸入空間的一個很小的改變，引起了蝴蝶效應般的模型輸出的發散？類似的輸入會不會得到穩定的輸出？我們知不知道模型的每一個參數代表什么意思？

????????可解釋性是一個很寬泛的概念。比如我們知道模型出錯的概率是多少，知道對于哪些輸入會出錯是可解釋性。知道模型如何運作，對輸入的某個特征微調，模型的輸出與人類的經驗符合算可解釋性。而且，線性模型不一定比深度神經網絡的可解釋性好。為了達到相同的預測精度，線性模型可能利用了非常復雜的手工構造的特征，而很多這樣的特征是不可分解的。相反，神經網絡的特征 activation map 可以通過語言，可視化以及聚類的方法被人類所理解。給圖像打標簽的任務，就是一種對深度學習分類器的語言解釋。而 Saliency map 則是可視化解釋。聚類也是一種解釋，如果一只狗長得很像貓，機器將其誤判為貓的錯誤就很容易被人類諒解。

為什么需要可解釋性

????????機器學習模型分白盒子模型和黑盒子模型。簡單的線性模型，單棵決策樹屬于白盒子模型，其將輸入映射為輸出的方式，可被人類完全理解。而由許多決策樹組成的隨機森林，提升樹，以及深度神經網絡都屬于黑盒子模型。這些模型輸入到輸出的映射非常復雜，想完整了解整個機器的內部運作方式，幾乎不可能。

• 高可靠性的要求’

a）神經網絡在實踐中經常有難以預測的錯誤（進一步的研究是對抗樣本攻擊與防御），這對于要求可靠性較高的系統很危險

b）可解釋性有助于發現潛在的錯誤；也可以通過debug而改進模型

c) 機器學習模型在重要領域部署之前應該達到足夠的預測精度，而且精度不能因為世異時移而降低，擁有在線更新能力，與時俱進。同時，應該在對抗樣本上經過充分訓練，對簡單的對抗樣本攻擊免疫。

• t透明性

????????機器需要對不確定的輸入和輸出及時預警，報錯，并將最終決策權交予人類。其內部決策過程，需要時刻以可視化，或其他人類智能可理解的方式呈現給人類觀察員。透明性非常重要，在最近的兩起波音737 Max飛機墜毀事故中，其中一起人類與自動控制系統搏斗了10分鐘，最終不敵自動控制系統而無奈墜毀。如果機器做出決策的過程透明，有預警，并及時向人類觀察員移交控制權，那么將可避免此事故。這可能是一個不正確的例子，因為波音飛機的這部分自動控制系統并沒有用到人工智能技術。

• 倫理/法規的要求

????????其決策需要符合人類的價值觀，世界觀和道德觀，要公平無偏見，擁有對這個世界的熱愛，對造物主人類的感恩，對人類文明傳承的責任感。斯坦福的以人為本AI研究院走的就是這條路。

神經網絡可解釋性的分類

?1. 按照邏輯規則解釋（Rule as Explanation）

?第一種方法是分解法，遍歷所有特征的排列組合

?分解法最簡單，但是缺點也是顯而易見的，就是時間復雜度太高，雖然KT算法有所優化，但是指數形式的復雜度還是難以投入實際使用。

第二種方法：教育法[1]

?DecText-決策樹抽取器，主要采用經過黑箱子的數據來抽取黑箱子的規則，并且與其他決策樹不同的是，該方法除了使用標記數據還可以使用未標記數據以及隨機數據，只要經過神經網絡黑箱子都可以獲得標簽。對比僅用訓練集，由于傳統決策樹進行生成葉子比生成其根的可信度還要低（因為能用于劃分界限的數據越來越少）。所以DecText有一個優勢就是可以利用更多的無標記數據甚至隨機數據進行補充。

這個方法有兩大缺點。一、無標記數據或者隨機數據其實有很多是超過解釋的意義，例如人臉識別，如果我們倒入一些不及格的人臉甚至隨機的圖像，決策樹也會對這些圖像進行開枝散葉，降低了真正解釋人臉的枝葉的占比。二、決策樹不能表達太深的網絡，決策樹越深，性能會急劇下降，可解釋性也越差。

Tree Regulartion[2]提出了樹正則的方法，來抑制了樹的深度。

樹正則通過引入深度損失正則項，在優化時候會抑制樹的深度。而樹的深度則是通過一個簡單的預估網絡進行預估，需要的參數就是主網絡的參數。

2. 按照語義進行解釋

從宏觀角度了解，例如卷積神經網絡，淺層的卷積網絡往往關注更基礎的圖像信息例如紋理、顏色等，而越往上層則越能抽象出更豐富的語義，例如人臉識別的眼睛、鼻子等。其中經典代表就是計算機視覺中的經典方法-可視化[3]

可視化的方法非常多，比如說有一個華人的博士就可視化了CNN，把每一層都展示得非常清楚，只需要在網頁上點擊對于的神經元，就可以看到工作流程。

一位維也納的小哥，本來搞unity3D特效開發的，他把整個CNN網絡用3d的形式可視化了出來。

另外一種主動的按照語義進行解釋的代表作：可解釋卷積神經網絡[4]（Interpretable convolutional neural networks.）與傳統的卷積神經網絡不同的是，ICNN的每一個卷積核盡量只代表一種概念，例如，傳統的卷積核對貓的頭或者腳都有較大的激活值，而ICNN只能選擇最大的一種。

3. 通過示例進行解釋

這種方法容易理解，是一種直觀方法：尋找和待解釋的樣本最“相似”的一個訓練樣本，典型的代表作 Understanding black-box predictions via inflfluence functions,[5]

4. 按照屬性解釋

按照屬性解釋目前內容上最。如前面提及到，決策樹等透明模型難以模仿復雜的神經網絡，那怎么解決呢？針對此問題研究的代表作有：Why should i trust you?: Explaining the predictions of any classififier[6]

由于LIME不介入模型的內部，需要不斷的擾動樣本特征，這里所謂的樣本特征就是指圖片中一個一個的像素了。但如果LIME采樣的特征空間太大的話，效率會非常低，而一張普通圖片的像素少說也有上萬個。若直接把每個像素視為一個特征，采樣的空間過于龐大，嚴重影響效率；如果少采樣一些，最終效果又會比較差。所以針對圖像任務使用LIME時還需要一些特別的技巧，也就是考慮圖像的空間相關和連續的特性。不考慮一些極小特例的情況下，圖片中的物體一般都是由一個或幾個連續的像素塊構成，所謂像素塊是指具有相似紋理、顏色、亮度等特征的相鄰像素構成的有一定視覺意義的不規則像素塊，我們稱之為超像素。

其他的還有：用意想空間的對話系統[8]

這種解釋的類型是最有深度而且也是用戶最容易理解的。但是對AI模型和訓練難度也更高了。目前這方面的研究屈指可數。

LIME相關介紹

LIME是局部線性可解釋性。一旦假設了局域線性，那么就可以用一個線性模型來近似得到黑盒模型在一個特定輸入x?附近的行為。這就是 LIME 的思想。

如下圖所示，任務目標是對紅十字和藍色圓點進行分類，神經網絡學到的分類器可能給出很復雜的分類邊界，即粉紅區域與淺藍區域的分界線，所有的紅色十字都在邊界包圍的粉紅區域內，而藍色圓點在淺藍區域。如果想從全局層面解釋清楚此神經網絡在整個輸入空間如何工作，用語言描述則非常困難，因為無法精確表示這條彎彎曲曲的分界線。但如果用視覺來向另一個人類解釋，則相對簡單，只要用手指出整個邊界即可。而物理學家做的，是用數學公式把這條分界線表示出來。數學公式可以被不同的人理解，所以是一種除了語言，視覺之外的可以實現共情的解釋方式。LIME 做的就簡單多了，只要找出那條虛線，就可以局部的解釋為什么神經網絡對一個特定的輸入做出目前的分類。

如果輸入是圖片，那么LIME會將圖片按邊界分割，并將類似的像素劃歸為超級像素，通過隨機的丟掉某些超級像素，構造不完整輸入 x'，輸入神經網絡，檢查分類概率的變化 f(x')，來獲得某些圖片區域對分類的重要性。LIME 已經開源，可以簡單的通過 pip 安裝，

pip install lime

使用方法在Github頁面有介紹

使用 LIME 對一張大象的照片進行分析，看看神經網絡 Inceptionv3 模型通過什么得到這是一只大象的結論。如下圖所示，象鼻，眼睛，耳朵都是對分類起重要作用的區域。

可解釋性總結

---

【參考資料】

^“Extracting Decision Trees From Trained Neural Networks”. SIGKDD. July 23-26,2002?Extracting decision trees from trained neural networks | Proceedings of the eighth ACM SIGKDD international conference on Knowledge discovery and data mining

^?M. Wu, S. Parbhoo, M. C. Hughes, R. Kindle, L. A. Celi, M. Zazzi, V. Roth, and F. Doshi-Velez, “Regional tree regularization for interpretability in deep neural networks.” in AAAI, 2020, pp. 6413–6421.?https://arxiv.org/abs/1908.04494

^K. Simonyan, A. Vedaldi, and A. Zisserman, “Deep inside convolutional networks: Visualising image classification models and saliency maps,” arXiv preprint arXiv:1312.6034, 2013.

^Q. Zhang, Y. Nian Wu, and S.-C. Zhu, “Interpretable convolutional neural networks,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018.

^P. W. Koh and P. Liang, “Understanding black-box predictions via influence functions,” in Proceedings of the 34th International Conference on Machine Learning-Volume 70, 2017.

^M. T. Ribeiro, S. Singh, and C. Guestrin, “Why should i trust you?: Explaining the predictions of any classifier,” in Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining, 2016.

^M. Wojtas and K. Chen, “Feature importance ranking for deep learning,” Advances in Neural Information Processing Systems, vol. 33, 2020.

^Open Domain Dialogue Generation with Latent Images Z Yang, W Wu, H Hu, C Xu, Z Li - arXiv preprint arXiv:2004.01981, 2020 - arxiv.org?https://arxiv.org/abs/2004.01981

---

主要參考 機器學習小談?神經網絡的可解釋性綜述 - 知乎 (zhihu.com)

總結

以上是生活随笔為你收集整理的机器学习可解释性的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。