文 | 任潔，李明杰，劉澤旭
源 | 知乎

大家好，我們是任潔，李明杰和劉澤旭，本研究是在張拳石老師 @Qs.Zhang張拳石 指導下完成的工作。

隨著深度神經網絡的應用日益廣泛，可解釋性也逐漸受到更多學者的關注。目前對神經網絡的可解釋性研究主要分為兩個方面，一方面是語義層面的解釋，另一方面是數學層面對網絡表達能力推導。在語義層面，最直接的方法是可視化神經網絡的中層特征，同時很多研究也致力于估計輸入樣本中不同單元對于神經網絡輸出的重要性（attribution/importance/saliency）。在數學推導的層面，很多研究嘗試從各個角度推導出神經網絡表達能力的邊界。然而，這兩類解釋性研究往往各自為戰，語義層面的解釋往往缺乏堅實的理論支撐，數學層面的推導又難以對接到人的認知，讓人真正地理解神經網絡。

在本文中，作者從特征復雜度的角度出發，嘗試將語義解釋與神經網絡的表達能力相結合。神經網絡的中層特征往往是混雜的，包含非常豐富的信息，其中，一些特征是簡單的，另一些特征則是非常復雜的，需要經過復雜變換才能學習到。

受這一點啟發，本文有如下工作：

定義了神經網絡中層特征的復雜度；

在語義層面，實現了對簡單特征、復雜特征的拆分及可視化，發現簡單特征往往表示物體的主體形狀，而復雜特征則是一些細節、噪聲信息；

在表達能力層面，本文用可靠性、有效性，及過擬合程度評測了神經網絡特征，量化了特征表達能力與特征復雜度、訓練樣本數等因素之間的聯系；

基于上述結論，本文利用拆分出的特征向量進一步提升了神經網絡的性能，并解釋了經典學習算法的效果。

論文標題：
Interpreting and Disentangling Feature Components of Various Complexity from DNNs

論文鏈接：
http://proceedings.mlr.press/v139/ren21b.html

算法簡介

將神經網絡中層特征解構并可視化出不同復雜度的特征分量： 神經網絡從輸入樣本中抽取得到了非常豐富的特征，而這些特征既包含簡單的特征分量，也包含復雜的特征分量。簡單的特征分量往往經過簡單的變換就能得到，例如通過一個較淺的神經網絡，而復雜的特征分量則需要較深的神經網絡才能擬合。即，給定一個訓練好的神經網絡 ，和輸入 ，其中層特征中包含了不同復雜度的特征分量：

其中 表示不同復雜度的特征分量。我們利用學習某個特征分量所需要的最少的非線性變換數來量化這個特征分量的復雜度。例如，單層神經網絡（只包含一個非線性層）所能擬合的特征分量 的復雜度階數定義為1階， 稱為 的一階復雜度分量。包含連個非線性層的神經網絡所能夠擬合的特征 稱為二階復雜度分量，以此類推。

為了從 中拆分出不同復雜度的特征分量，我們通過知識蒸餾的方法訓練多個不同深度（包含不同多個非線性層）的拆分網絡，淺層的神經網絡只能學習到簡單特征，而深層網絡所擬合的特征包含了簡單特征和復雜特征。因此，深度為 的拆分網絡和深度為的拆分網絡所擬合的特征的差值，就是復雜度為l階的特征分量。

下圖展示了不同階特征分量的可視化結果。可以看出，簡單特征往往包含與輸入物體形狀相關的信息，而復雜的特征分量包含了更多的細節信息和噪聲信息。

探索實驗

基于上述特征復雜度的定義，我們提出了一系列指標，量化分析了不同特征分量的可靠性、有效性和過擬合程度。

1.可靠性： 本課題組前期的特征表達一致性理論[1]已經證明，對于同一項任務，不同神經網絡往往會建模一些公共信息，這些公共信息被認為是完成這項任務的可靠特征。本文中，我們從各階復雜度的特征分量中進一步提取出了可靠的特征子分量，從而量化了不同復雜度特征分量的可靠性。

實驗中，我們發現，增加神經網絡的訓練樣本量，能夠有效提升特征的可靠性，但不會顯著影響特征復雜度的分布，這在一定程度上與人們的直覺是相反的。

2. 有效性： 基于Shapley value，我們量化了特征分量是否有效地幫助了神經網絡的分類（或其他任務）。我們用每個特征分量對分類任務的損失函數的下降的Shapley value量化特征分量的有效性，發現特征不是越復雜越有效的，相反，當特征復雜度為網絡深度的一半時，特征分量的有效性最高。

3. 過擬合程度： 與有效性類似，我們利用特征分量對訓練損失與測試損失差值的Shapley value，量化特征分量是否是過擬合的。實驗發現，當增加訓練樣本量時，往往能夠降低簡單特征（低復雜度的特征分量）的過擬合程度，而這一規律對于復雜特征并不適用。

拓展應用

基于以上實驗發現，我們進一步利用特征復雜度去提升網絡性能，并解釋了知識蒸餾、網絡壓縮這兩種經典的深度學習算法。

1. 提升網絡性能

前文中我們已經發現，當特征分量的復雜度為網絡深度一半時，該分量是對任務最有效的。因此，我們將神經網絡原始特征 替換為所拆分出的有效特征分量，使神經網絡的分類性能最高提升了5%；并且，我們發現中階復雜度的特征對神經網絡性能的提升更加有效。

2. 解釋經典算法

本文中，我們解釋了網絡壓縮和知識蒸餾兩種算法對神經網絡特征復雜度的影響，發現知識蒸餾使神經網絡學到了更可靠、更有效的特征，從而在一定程度上提升了網絡性能；網絡壓縮則主要作用于網絡中的簡單特征，且不會影響特征可靠性，因此能夠保證網絡性能不受顯著破壞。

【作者】

任潔*：上海交通大學博士一年級，師從張拳石副教授。
李明杰*：上海交通大學本科四年級，現在張拳石實驗室進行實習研究。
劉澤旭：上海交通大學本科三年級，曾在張拳石實驗室進行實習研究。
張拳石：上海交通大學副教授，博士生導師。[http://qszhang.com]

后臺回復關鍵詞【入群】

加入賣萌屋NLP/IR/Rec與求職討論群

后臺回復關鍵詞【頂會】

獲取ACL、CIKM等各大頂會論文集！

?

[1].https://zhuanlan.zhihu.com/p/102311760

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的可解释性：对神经网络中层特征复杂度的解释与拆分的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。