explaining and harnessing adversarial examples（FGSM）

• 論文簡述
• 論文重點
• • 先前工作
  • 對抗樣本的線性解釋
  • 非線性模型的線性擾動
  • *線性模型的對抗擾動推導及對抗訓練
  • *非線性模型的對抗訓練
  • 對抗樣本的泛化性解釋
  • 不足之處
• 思考

論文簡述

本文依舊是Ian J. Goodfellow大神的系列，提出神經網絡對對抗樣本的脆弱性的根本原因是其線性特征，這也解釋了對抗樣本在結構和訓練集上的泛化性，并在此基礎上提出了FSGM算法用來生成對抗樣本。

論文重點

先前工作

對抗樣本的存在說明，即使我們當前的模型可以來解釋訓練數據或者正確標簽測試數據，但是不代表它完全理解了我們實際想讓它展示的效果。

對抗樣本的原因有認為是極端的非線性、模型平均不足以及正則化不足等

對抗樣本的線性解釋

作者則認為正是由于高維空間的線性行為才導致了對抗樣本的存在，因此要在容易訓練的線性特征和抵抗對抗樣本的非線性特征之間做trade off。

當前輸入特征的精度是有限的，當各個維度的擾動小于精度時，應產生相同的分類結果
假定擾動： 1 norm,2 norm,∞ norm
$||\eta |{|}_{\infty }<?$，則擾動在該范圍內取最大的形式為$\eta =?sign(w)$。
則對于線性模型來講：

雖然擾動受到約束，但激活卻會隨參數w的維度和數值的增長而線性增長：$cmn$。

• 正是這種線性結構，使得微小的擾動卻對分類結果產生重要的影響。

非線性模型的線性擾動

• 假定神經網絡足夠的線性化，導致其也不能抵抗對抗樣本。（線性結構、非線性結構的非飽和，線性區域）maxout network
• 攻擊樣本的思想：追求以微小的修改，通過激活函數的作用，對分類結果產生最大化的變化。
• 如果我們的變化量與梯度的變化方向完全一致，那么將會對分類結果產生最大化的變化。sign函數用來保持變化量方向

此時的最優攻擊樣本是，也即FGSM（fast gradient sign method）

但之后作者給出的$?$并不是小于圖像精度的，所以擾動幅度并不算特別小。

• 兩個標準：錯誤率（error rate）是說誤判的百分比，置信率（confidence）：是指分類器認為該圖像是錯誤類別的百分比，錯誤率和置信率越高，則說明生成的對抗樣本越強勢
• 正是因為線性響應，使得他們在訓練數據分布中未出現的數據保持過度自信
• 其他生成對抗樣本的方式：如沿梯度方向旋轉原圖像x一個小的角度

作者的思路總是很清晰且易懂，但卻能發現問題和產出效果，真的很厲害。

*線性模型的對抗擾動推導及對抗訓練

---

邏輯回歸推導，目標值為{-1,1}或{0,1}兩種形式 https://www.cnblogs.com/daguankele/p/6549891.html
林軒田機器學習邏輯回歸函數，目標值為{-1,1}的推導公式：https://blog.csdn.net/red_stone1/article/details/72229903

此處的y省略掉了，y指的是y_true，也即考慮的是y=1的情況。
則利用對抗擾動 作為正則項 來進行優化的損失函數為：

公式來源：https://zhuanlan.zhihu.com/p/32784766
正則化，權重衰減

*非線性模型的對抗訓練

公式（持續更新對抗樣本）：

結論：

對抗訓練能在dropout的基礎上使訓練結果有所提升或相差不大

好處在于對抗訓練后的模型對對抗樣本具有更好的魯棒性

但對抗訓練后的模型如果誤認了對抗樣本，仍然有很高的置信度

對抗訓練類似于hard example mining，利用產生的隨機噪聲無法用來抵抗對抗樣本

容量（擬合各種函數的能力）低的模型能夠精準的逼近當前模型，所以可以抵抗對抗樣本，但泛化性差；容量高的模型泛化性強，但也因此無法抵抗對抗樣本。

• 如果我們設計一個模型，在指定位置精準逼近（類似于瓶頸形式），篩選掉對抗樣本，再提高泛化性，有沒有可能讓兩者很好的結合呢？？？

對抗樣本的泛化性解釋

• 對抗樣本具有泛化性，且誤判的分類通常保持一致。
• 由于模型的線性化，對抗樣本存在于廣泛的子空間中，而不是特定的某些位置（類似實數在有理數中一樣）
• 擾動的方向更重要些，我們就只需要找準對抗樣本的方向，然后使擾動足夠大，就能產生對抗樣本。
• 泛化性的原因是由于當前的方法論學到的權重是相似的，則對抗樣本存在的子空間基本一致，也因此對抗樣本具有遷移性。

不足之處

（未經過驗證）

• 不定向攻擊，無法做到定向攻擊。
• 而且這種攻擊的魯棒性不強，添加的擾動容易在圖片的預處理階段被過濾掉。
• 盡管提出的對抗訓練方式可以提高模型的泛化能力，從而在一定程度上防御對抗樣例攻擊，但這種防御方法只針對一步對抗樣例攻擊有效，攻擊者仍可以針對新的網絡構造其他的對抗樣例。

思考

• 雖然不一定是正確解釋，但感覺大神的思路就是很清晰明了
• 可以考慮模型，將精準模型與擬合性好的模型相結合

總結

以上是生活随笔為你收集整理的explaining and harnessing adversarial examples(FGSM)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。