1、對抗樣本

如下圖所示，在原始圖片(57.7%的概率識別為panda)上加一個非常微小的噪聲，加完之后人體視覺上看不出區(qū)別，但是再次輸入同一個神經(jīng)網(wǎng)絡(luò)，它就會以99.3%的概率將其識別為gibbon。
作者認為，高維空間的線性足夠產(chǎn)生對抗樣本，由此作者也設(shè)計了一種新的快速產(chǎn)生對抗樣本的方法FGSM。

對抗樣本的線性解釋：
如果向樣本x中的每個元素值添加的擾動值$\eta$小于樣本輸入特征精度時，直觀理解上模型分類器可能會無法將樣本x和對抗樣本$\bar{x}$ = x + $\eta$區(qū)分開來，但事實并不是這樣。
在神經(jīng)網(wǎng)絡(luò)模型中都會引入權(quán)重向量w：$w^T\bar{x}=w^{T}x+w^T\eta$ 其中|$\eta$| < $?$，從該式可以看出，這時的對抗擾動會使激活函數(shù)的輸入相應(yīng)增加$w^T\eta$，假設(shè)權(quán)重向量w有n個維度，并且權(quán)重向量中元素平均值是m，那么激活函數(shù)將會最多增加$?$nm。這種情況下，雖然擾動不會隨著維度n的變化而變化，但是由$\eta$導(dǎo)致的激活函數(shù)的增加量$?$nm會隨著維度n線性增長。因此在高維問題上，即使對輸入進行非常小的更改，對應(yīng)的輸出也會產(chǎn)生很大的變化。
以上表明，如果線性模型的輸入樣本具有足夠大的維度，那么線性模型也同樣會容易受到對抗樣本的攻擊。

2、非線性模型的線性擾動

作者利用上面對抗樣本的線性解釋提出了一個快速產(chǎn)生對抗樣本的方法FGSM。
假設(shè)模型參數(shù)為$\theta$（包含模型加權(quán)平均向量w、偏置量b等），輸入、輸出分別為x,y，J($\theta$, x, y)是損失函數(shù)，FGSM將損失函數(shù)近似線性化，$\eta =?sign({▽}_{x}J(\theta ,x,y))$。
這里首先回顧一下正常的模型訓(xùn)練過程，訓(xùn)練時通常都要讓損失函數(shù)越來越小，因此需要對損失函數(shù)求導(dǎo)（梯度），如果為正，說明參數(shù)太大，所以在下一輪訓(xùn)練前就需要將參數(shù)變小（減去這個梯度），從而使損失函數(shù)越來越小，模型預(yù)測正確的概率越來越大。但是這里對抗樣本的目的是，模型預(yù)測正確的概率越小越好，和正常訓(xùn)練過程中參數(shù)更新的操作相反，因此只需要在輸入圖像中加上計算得到的梯度方向，這樣得到的損失值才會更大，模型預(yù)測正確的概率才會更小。
如文章最開始的圖片所示，在輸入圖片上添加了一個不明顯的小向量，該向量的元素等于損失函數(shù)相對于輸入圖片元素的梯度，這樣就讓神經(jīng)網(wǎng)絡(luò)產(chǎn)生了誤分類。
總結(jié)一下FGSM主要有兩點：一是計算梯度的時候，是基于輸入圖像來計算的，二是更新輸入圖像的時候加上梯度，這和模型訓(xùn)練時的減去梯度正好相反。

通過一系列的實驗，發(fā)現(xiàn)FGSM確實可以導(dǎo)致各種模型將其輸入錯誤分類：
當$?$=0.25時，在mnist數(shù)據(jù)集上，邏輯回歸模型的錯誤率為99.9%（原始區(qū)分3和7的錯誤率僅為1.6%），maxout網(wǎng)絡(luò)的對抗樣本錯誤率為89.4%；當$?$=0.1時，在CIRAF-10數(shù)據(jù)集上，maxout卷積神經(jīng)網(wǎng)絡(luò)的錯誤率最高為87.15%。但是RBF神經(jīng)網(wǎng)絡(luò)對對抗擾動不敏感，其對應(yīng)的置信度也很低。

參考鏈接：
https://blog.csdn.net/u014380165/article/details/90723948 https://zhuanlan.zhihu.com/p/25462317
https://blog.csdn.net/u014038273/article/details/78773515
https://blog.csdn.net/qq_35414569/article/details/80770121
https://arxiv.org/pdf/1412.6572.pdf
https://zhuanlan.zhihu.com/p/166364358

總結(jié)

以上是生活随笔為你收集整理的《EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES》阅读笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。