主要內(nèi)容

• 人工智能中的可解釋性
• LIME算法思想
• LIME的前置條件
• LIME的目的
• • 對于模型輸出的可解釋性(LIME)
  • 對于模型行為的可解釋性(SP-LIME)

人工智能中的可解釋性

如今，機(jī)器學(xué)習(xí)乃至深度學(xué)習(xí)技術(shù)發(fā)展得如火如荼，各領(lǐng)域都能見到它們得身影，但是，大部分的模型對于人類而言，是一個(gè)“黑盒”，我們無從知曉模型運(yùn)行背后的原理。這在許多場景下都不是一件好事，當(dāng)我們希望利用模型作出某個(gè)決策時(shí)，良好的可解釋性能夠給我們更大的信心相信模型提供的輸出，不僅如此，我們還能依據(jù)模型的可解釋性去判斷模型是否合理，甚至是對其加以改進(jìn)。因此可解釋性是一個(gè)很有意思的話題。

LIME算法思想

本文中提出的LIME全名為 Local Interpretable Model-agnostic Explanations，其基本思想是通過一個(gè)代理模型在某個(gè)“黑盒”模型的局部產(chǎn)生解釋，從而讓用戶理解模型在當(dāng)前局部的行為。所謂局部，實(shí)質(zhì)上指的就是數(shù)據(jù)集中的一條樣本。正因?yàn)檫@個(gè)特點(diǎn)，該算法是與模型無關(guān)的。并且，通過多個(gè)局部行為的解釋，算法能讓用戶對模型的全局行為產(chǎn)生insight。

LIME的前置條件

首先，我們希望使用一個(gè)代理模型在局部對模型進(jìn)行解釋，因此，代理模型本身需要具備可解釋性，即我們只能使用例如決策樹，線性模型等具備高度可解釋性的模型。
其次，由于我們是對一條樣本進(jìn)行解釋，因此樣本本身的形式也應(yīng)當(dāng)具備可解釋性，文中以文本數(shù)據(jù)以及圖像數(shù)據(jù)做例子，在NLP領(lǐng)域，文本大多使用詞嵌入技術(shù)，變成了一個(gè)高維向量，此時(shí)不具備可解釋性，因此，我們需要將其轉(zhuǎn)換為具備可解釋性的形式，比如詞袋模型，而圖像數(shù)據(jù)若以普遍的4維張量**[Batch,height,width,channel]** 來表示，同樣不具備可解釋性，這里我們將其轉(zhuǎn)換為super-pixels的形式。super-pixels大概思想是將小像素聚合為更大的單位，如下圖所示：

LIME的目的

此處，文章中提出一個(gè)觀點(diǎn)，即可解釋性有兩個(gè)方面的意義，一是對于模型的輸出本身的可解釋性，但這只是在一個(gè)局部對模型進(jìn)行解釋，對理解模型本身的全局行為是不夠的，因此，又有第二個(gè)方面的意義，即對模型本身（可理解為全局）的解釋，試想有許多在驗(yàn)證集上表現(xiàn)良好的模型泛化性能卻不行，因此，該算法提出從準(zhǔn)確度以外的視角去觀察模型是很有意思的觀點(diǎn)。

對于模型輸出的可解釋性(LIME)

首先，是對于模型輸出的解釋，此處先定義一些符號：
黑盒模型：$$f$$
可解釋模型: $$g\in G$$
這里$$G$$指的是一族可解釋模型，而$$g$$是其中一個(gè)，而在本文中，僅使用了線性回歸這一可解釋模型。
對于一個(gè)樣例而言，其原本的表示記為$$x$$，具備可解釋性的形式記為$$x^{\prime }$$，此時(shí)，一個(gè)樣例的定義域?yàn)?span id="ozvdkddzhkzd" class="katex--inline">$\{0,1\}$，每一個(gè)維度都代表一個(gè)特征的存在與否，例如詞袋模型表示某個(gè)單詞是否存在，而圖片則表示某個(gè)超像素是否存在。
對于可解釋模型而言，我們還需要定義其復(fù)雜度，顯然越簡單的模型，其可解釋性越高，在這，定義一個(gè)模型的復(fù)雜度為$$\Omega (g)$$，例如，決策樹的復(fù)雜度由樹的深度衡量，而線性模型則由其非零權(quán)重的個(gè)數(shù)來衡量。
在模型的局部，算法會產(chǎn)生一個(gè)擾動數(shù)據(jù)集，并用可解釋模型來擬合，這些擾動數(shù)據(jù)采樣自樣本，做法是隨機(jī)挑選樣本中的非零特征構(gòu)成擾動數(shù)據(jù)，即每一個(gè)擾動數(shù)據(jù)集中的數(shù)據(jù)都與原樣本有一定相似之處。這個(gè)做法也是比較符合直覺的，用可解釋模型擬合數(shù)據(jù)之間有相似特征的樣本，從而觀察黑盒模型做了什么。具體到線性模型來說，此時(shí)每一個(gè)擾動樣本$$z^{\prime }$$為可解釋形式，我們需要將其轉(zhuǎn)換為黑盒模型可接受的形式$$z$$，并且每一個(gè)樣本的標(biāo)簽就是黑盒模型對其的預(yù)測$$f(z)$$。
除此之外，還需要定義一個(gè)擾動樣本與原樣本之間相似程度的度量$${\pi }_x(z)$$
綜上，再定義一個(gè)衡量局部解釋保真度的函數(shù)：$$l(f,g,{\pi }_x)$$
最后，將局部的保真度以及可解釋模型本身的復(fù)雜度綜合考量，最終，優(yōu)化目標(biāo)為：
$$\xi (x)=\underset{g\in G}{\mathrm{argmin}}l(f,g,{\pi }_x)+\Omega (g)$$
算法流程：

算法核心即根據(jù)上文中的$${\pi }_x$$對樣本周圍進(jìn)行采樣，從而形成一個(gè)擾動數(shù)據(jù)集$$Z$$，在該數(shù)據(jù)集上，進(jìn)行線性模型的擬合。而圖中的K-Lasso是一種特征選擇的算法，從而能夠使用部分而不是全部特征進(jìn)行擬合。最終我們得到一個(gè)稀疏的線性模型。這個(gè)模型的權(quán)重即為我們所要的解釋。

對于模型行為的可解釋性(SP-LIME)

在局部，我們僅對一個(gè)樣例上，模型的行為進(jìn)行了解釋，但是這無法從整體上看出模型的行為，因此，我們需要多一些樣本來幫助我們觀察模型的行為。但是，選擇合適的樣例對于用戶來說是一個(gè)門檻較高的事情，因此文中提出了SP(submodular-pick)LIME算法，自動地搜索合適的樣例。
在該算法中，首先需要定義一個(gè)由各個(gè)樣本的LIME所構(gòu)成的“解釋”矩陣$$W$$

圖中，每一行代表一個(gè)樣本的解釋，每一列代表一個(gè)特征，即解釋中的一個(gè)權(quán)重。而算法挑選樣例主要從兩方面來考慮，首先是特征的多樣性，即挑選出來的樣例應(yīng)該具有豐富的特征，二是特征的重要性，即挑選出來的特征應(yīng)該在模型的決策過程有相當(dāng)?shù)脑捳Z權(quán)。
以上圖舉例，若該算法能夠充分考慮多樣性，則第二個(gè)樣例與第三個(gè)樣例僅有一個(gè)會被挑選出來，因?yàn)樗鼈兊慕忉尫浅Ｏ嗨?#xff0c;無法為解釋模型行為提供更多信息。
對于重要性，對每個(gè)特征，定義重要性衡量函數(shù)$$I(x_j)$$，文中以文本數(shù)據(jù)舉例，則該函數(shù)簡單定義為$$\sqrt{\sum _{i\in N}{w}_{ij}}$$即將特征對應(yīng)的所有權(quán)重求和并開平方。
具體算法流程如下：

其中，Eq.4的式子為：

$$c$$的定義為:

該式子含義為：給定樣本集合$$V$$重要性衡量函數(shù)$$I$$以及“解釋”矩陣$$W$$計(jì)算其總體的重要性，式子中間的指示函數(shù)就體現(xiàn)了算法中的多樣性，即只要在解釋矩陣中有一個(gè)屬性在一個(gè)樣例上權(quán)重大于0，那么總體重要性就會將其考慮進(jìn)去。而$$Pick$$函數(shù)中的$$B$$代表的是用戶能容忍的最大樣例個(gè)數(shù)。
這樣，最大化總體重要性，就得到了一系列的優(yōu)質(zhì)樣本，幫助用戶理解模型。而SP-LIME也在實(shí)驗(yàn)中確實(shí)比RP-LIME(Random Pick)發(fā)揮了更好的作用。

總結(jié)

以上是生活随笔為你收集整理的LIME-论文阅读笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。