?PaperWeekly 原創 ·?作者｜張琨

學校｜中國科學技術大學博士生

研究方向｜自然語言處理

論文標題：

The elephant in the interpretability room: Why use attention as explanation when we have saliency methods?

論文作者：

Jasmijn Bastings, Katja Filippova

論文鏈接：

https://arxiv.org/abs/2010.05607

動機

注意力機制（Attention Mechanism）作為機器學習，人工智能研究中一個里程碑式的研究成果，它能夠根據需求選擇最合適的輸入，能夠對齊兩個序列之間的 token 關系，從而實現更好的效果，可以說注意力機制已經成為現在很多人工智能研究（NLP, CV）的標配。

隨著大家對可解釋性的需求越來越高，注意力機制也被用來實現對模型運行方式的可解釋性分析，同時由于注意力機制擁有良好的可視化操作，因此大家都會說使用了注意力機制，提高了模型的可解釋性，同時會用一些注意力權重分布的可視化來支持這一觀點。

但注意力機制是否真的能夠提供模型的可解釋性，為什么要使用注意力作為模型可解釋性研究的一個重要途徑呢？為了回答這個問題，并深入研究注意力機制在可解釋性研究中發揮的作用。就有了本文這個工作。

1.1 注意力的作用

要分析注意力對可解釋性的作用，就要看注意力被用在可解釋性上時的原因，相關文章中表述過他們更關注的地方在于輸入中哪些內容對模型的預測性能更重要。因此，如果要使用這個狹義的可解釋性定義時，那么注意力確實能夠在方面發揮作用。

但這個定義與輸入顯著性方法研究的定義相吻合，那既然定義是吻合的，為什么不使用這些顯著性方法要尋找輸入中的重要部分呢？與此同時，利用注意力機制進行可解釋性研究的大多數工作都會被批評沒有定義什么是可解釋性。

這是本文的一個出發點，接下來，針對注意力是否可以用于可解釋，文本展示了相關工作。

1.2 注意力是否能用于可解釋

為了更好的進行注意力機制爭辯的分析，本文以一個非常簡單的注意力例子進行分析，結構如下圖。輸入的序列首先通過 LSTM，然后在此基礎上計算注意力在隱層狀態上的權重分布，然后以這個注意力例子進行分析

針對注意力不能用于解釋，這里主要是以下的幾個工作：

Jain 和 Wallace [1] 通過實驗證明可以找到一組完全不同的注意力權重，但模型最后的輸出是相同，從而證明了注意力是不能用于解釋的。

Serrano 和 Smith [2] 通過修改注意力權重發現模型中的注意力權重并不能識別出對輸出最終的輸入部分，證明注意力不能用于解釋。

Grimsley 等人 [3] 從因果推理的角度進行分析，他們認為如果可解釋性的因果定義已經被提前定義了，那么通過定義的方式不能說注意力結果就是解釋，這點涉及到因果推理的很多內容，這里就不再贅述。

為了反駁以上觀點，說明注意力是可以用于解釋的，主要列舉了一下的一個工作

Wiegreffe和Pinter [4] 通過反駁 [1] 中的實驗設定，首先注意力機制需要跟整個模型聯合起來運行才是有用的，單純找到一個對抗分布是沒有意義的，不能為了分布而找分布。于此同時，本文提出了一些實驗方法，包括 uniform-weights baseline，expected variance， diagnose attention 等，通過這些實驗發現能夠通過一定的方法獲取針對同一輸出結果的不同注意力解釋，因此注意力能夠用于解釋，但范圍是受限的。

既然在一些工作上，注意力機制是能用于解釋的，那是否是被正確利用了呢，本文也進行了相關的分析，Vashishth 等人 [5] 通過對 NMT 中的注意力機制進行分析，發現注意力機制在不同的任務上發揮的作用是不同的，因此能否用于可解釋性的程度也是不同的，不能一概而論。

1.3 顯著性方法

上一節對注意力是否是解釋，是否能夠用于解釋進行進行了深入調研，正方反方觀點都進行了分析。正如 motivation 中提到的那么樣，如果根據狹義的可解釋性定義：可解釋性就是找到對輸出最顯著的輸入部分，那么為什么不用顯著性方法呢？為此，本節就介紹了幾種顯著性方法，這幾種方法能夠直接應用到任何一個基于神經網絡的 NLP 方法。

基于梯度：主要分為以下三種；

利用梯度表示：

利用梯度與輸入相乘的方法：

利用積分梯度的方法：

基于傳播：這里主要介紹了 layer-wise ?相關傳播的方法 [5]；

基于遮擋：這個方法主要通過遮擋或者擦除輸入特征中的部分特征，然后分析其對模型的影響，從而得出相關輸入的顯著性。因此這種類型的方法主要分為兩種，基于遮擋的方法和基于擦除的方法，作者分別介紹了在 CV 領域的一篇文章和 NLP 領域一篇關于擦除方法的文章。

1.4 顯著性 v.s. 注意力

本節中，作者首先亮明了一個觀點：在可解釋性研究中，應該更關注顯著性方法?，F在將可解釋性局限于計算哪部分輸入對輸出更重要主要是因為注意力機制能夠為每一個輸入計算一個權重，也是因為這個原因，現在很多方法都使用注意力來進行可解釋分析。

我們應該更關注顯著性方法，如果可解釋性的定義是計算輸入的顯著性的話。具體原因作者分別從忠誠度，覆蓋率，高效性三個方面進行了分析。

那注意力在可解釋性研究中就沒有任何意義了么？本文同樣不這么認為，本文認為深入探究注意力的作用依然是一個非常重要的目標，而且注意力能夠為其他解釋性研究提供參考。這些方向上已經有了很多研究。

另外，作者也部分為顯著性方法就是最終解，還有其他的一些方法有待發掘，例如反事實分析等，于此同時，顯著性方法也有一些缺陷，例如對模型中間過程表示能力的缺陷，對輸入變化太敏感等問題，這些也是一些值得研究的方向。

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的Google新作：注意力机制是否真的能够提供模型的可解释性？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。