文章目錄

• 一、論文相關(guān)信息
• • ??1.論文題目
  • ??2.論文時(shí)間
  • ??3.論文文獻(xiàn)
• 二、論文背景及簡介
• 三、論文內(nèi)容總結(jié)
• 四、論文主要內(nèi)容
• • 1、Introducttion
  • 2、Releated Work
  • 3、The Linear Explanation Of Adversarial Examples
  • 4、Linear Perturbation of Non-Linear Models
  • 5、Adversarial Training Of Linear Models Versus Weight Decay
  • 六、Adversarial Training Of Deep Networks
  • 七、Different Kinds Of Model Capacity
  • 八、Why Do Adversarial Examples Generalize
  • 九、Alternative Hypotheses（其他的假設(shè)）
  • 十、Summary

一、論文相關(guān)信息

??1.論文題目

???? Explaining and Harnessing Adversarial Examples

??2.論文時(shí)間

????2015年

??3.論文文獻(xiàn)

????https://arxiv.org/abs/1412.6572

二、論文背景及簡介

? ? 早期對對抗樣本產(chǎn)生的原因的猜測集中于神經(jīng)網(wǎng)絡(luò)的非線性性和過擬合，但是這篇論文證明神經(jīng)網(wǎng)絡(luò)的線性性質(zhì)是造成神經(jīng)網(wǎng)絡(luò)具有對抗樣本的主要原因。同時(shí)，這篇論文提出了一個(gè)能供更簡單與更快速的生成對抗樣本的方法。

三、論文內(nèi)容總結(jié)

• 否定了對抗樣本是因?yàn)榉蔷€性和過擬合導(dǎo)致的，認(rèn)為對抗樣本是因?yàn)樯窠?jīng)網(wǎng)絡(luò)在高維空間的線性導(dǎo)致的，并提出了大量的實(shí)驗(yàn)加以說明**。對抗樣本可以被解釋成高維空間點(diǎn)乘的一個(gè)屬性，他們是模型太過于線性的結(jié)果**。
• 模型的線性讓其更容易被訓(xùn)練，而其非線性讓其容易抵御對抗擾動(dòng)的攻擊，即容易優(yōu)化的模型也容易被擾動(dòng)。
• 提出了一種特別快的生成對抗樣本的方法FGSM：

$$\eta =?sign({?}_{x}J(\theta ,x,y))$$

• FGSM的實(shí)質(zhì)是輸入圖片在模型的權(quán)重方向上增加了一些擾動(dòng)（方向一樣，點(diǎn)乘最大）。這樣可以讓圖片在較小的擾動(dòng)下出現(xiàn)較大的改變，從而得到對抗樣本。
• 不同模型之間的對抗性示例的泛化可以解釋為，對抗性擾動(dòng)與模型的權(quán)重向量高度一致，不同模型在訓(xùn)練執(zhí)行相同任務(wù)時(shí)學(xué)習(xí)相似的函數(shù)
• 提出了一種基于FGSM的正則化方法，對抗訓(xùn)練可以用來正則化，甚至效果比dropout還要好。

$$\tilde{J}(\theta ,x,y)=\alpha J(\theta ,x,y)+(1?\alpha )J(\theta ,x+?sign({?}_{x}J(\theta ,x,y)))$$

• 相比于模型融合，單個(gè)模型的對抗防御能力更好一些，集成策略不能夠抵御對抗樣本
• 線性模型缺乏抵抗對抗性擾動(dòng)的能力；只有具有隱藏層的結(jié)構(gòu)（在普遍近似定理適用的情況下）才應(yīng)該被訓(xùn)練來抵抗對抗性擾動(dòng)。
• RBF網(wǎng)絡(luò)可以抵御對抗樣本
• 對抗樣本的分布特征，即對抗樣本往往存在于模型決策邊界的附近，在線性搜索范圍內(nèi)，模型的正常分類區(qū)域和被對抗樣本攻擊的區(qū)域都僅占分布范圍的較小一部分，剩余部分為垃圾類別(rubbish class)
• 垃圾類別樣本是普遍存在的且很容易生成，淺的線性模型不能抵御垃圾類別樣本，RBF網(wǎng)絡(luò)可以抵御垃圾類別樣本

附：如需繼續(xù)學(xué)習(xí)對抗樣本其他內(nèi)容，請查閱對抗樣本學(xué)習(xí)目錄

四、論文主要內(nèi)容

1、Introducttion

? ? 該論文否定了L-BFGS中對對抗樣本出現(xiàn)的原因的解釋，認(rèn)為神經(jīng)網(wǎng)絡(luò)高維空間的線性行為很容易造成對抗樣本，作者還提出，常規(guī)的正則化策略如dropout、預(yù)訓(xùn)練、模型平均等并不能顯著降低模型在對抗樣本中的脆弱性，但將模型換成非線性模型族如RBF網(wǎng)絡(luò)就可以做到這一點(diǎn)。

? ? 我們的解釋表明，模型由于線性而容易訓(xùn)練，而又因非線性而容易抵御對抗擾動(dòng)的攻擊，這兩個(gè)問題之間是對立的。從長遠(yuǎn)來看，通過設(shè)計(jì)更強(qiáng)大的優(yōu)化方法，成功地訓(xùn)練出更多的非線性模型，也許可以避免這種矛盾。

2、Releated Work

? ? 主要介紹了一些之前的對對抗樣本產(chǎn)生原因的猜測，這里不做細(xì)致說明

3、The Linear Explanation Of Adversarial Examples

? ? 在這一節(jié)主要解釋了，作者為什么說是因?yàn)槟Ｐ偷木€性而產(chǎn)生的對抗樣本。

? ? 我們知道，**輸入圖像通常都是8bits的，這也就丟失了輸入圖像的1/255之間的信息。而如果對抗擾動(dòng)足夠小的話，是會(huì)被忽略的，**因此作者猜測，是由于模型的線性所導(dǎo)致的。作者通過數(shù)學(xué)公式來解釋。一個(gè)網(wǎng)絡(luò)模型的權(quán)重為$w^T$
$$w^T\tilde{x}=w^{T}x+w^T\eta$$
? ? 對抗擾動(dòng)讓網(wǎng)絡(luò)的激勵(lì)增加了$w^T\eta$ ，我們只要將$\eta =sign(w)$ ，就可以最大化的增加模型的激勵(lì)，當(dāng)$w^T$ 具有n維，平均權(quán)重值為m，那么激勵(lì)就會(huì)增長$?mn(||\eta |{|}_{\infty }<?)$ ，但是$||\eta |{|}_{\infty }$ 卻并不會(huì)因?yàn)榫S度的增加而增加，這樣，當(dāng)我們增加一個(gè)很小的擾動(dòng)的時(shí)候，就會(huì)產(chǎn)生很大的改變。這被稱為"accidental steganography"，這種隱藏術(shù)的意思是，一個(gè)線性模型被迫只關(guān)注與權(quán)重相接近的信號，卻會(huì)忽略那些權(quán)重大但不相關(guān)的振幅(像素點(diǎn))。

? ? 上述的解釋說明，**對一個(gè)簡單的線性網(wǎng)絡(luò)來說，如果他的輸入有著足夠的維度，那么他就會(huì)有對抗樣本。**先前對對抗樣本的解釋引用了了神經(jīng)網(wǎng)絡(luò)的假設(shè)特性，例如它們假定的高度非線性性質(zhì)。我們基于線性的假設(shè)更簡單，也可以解釋為什么softmax回歸容易受到對抗性例子的影響。

4、Linear Perturbation of Non-Linear Models

? ? 從對抗樣本的線性視角來看，我們得出了一個(gè)很快的生成對抗樣本的方法。我們假設(shè)神經(jīng)網(wǎng)絡(luò)是十分線性的。

? ? 我們已知的一些模型，LSTM、ReLU、maxout網(wǎng)絡(luò)都是被設(shè)計(jì)用線性的方式來運(yùn)作的，所以比較容易優(yōu)化，而非線性的模型，比如Sigmoid網(wǎng)絡(luò)，我們會(huì)很難優(yōu)化。但是線性，會(huì)讓模型更容易受到攻擊。

? ? 模型的參數(shù)設(shè)為$\theta$ ，$x$ 記為模型的輸入，$y$ 記為模型得到的標(biāo)簽，$J(\theta ,x,y)$ 記為神經(jīng)網(wǎng)絡(luò)使用的損失函數(shù)，同門可以通過以下的公式來得到對抗擾動(dòng)：
$$\eta =?sign({?}_{x}J(\theta ,x,y))$$
? ? 我們把這個(gè)叫做FGSM（fast gradient sign method）

? ? 作者在使用中，使用了$?=0.25$ ，在MINST測試集上，對softmax分類器攻擊達(dá)到了99.9%的攻擊成功率，平均置信度為79.3%。使用相同的配置，對maxout網(wǎng)絡(luò)，能達(dá)到89.4%的攻擊成功率，平均置信度為97.6%。當(dāng)使用卷積maxout網(wǎng)絡(luò)與CIFAR-10數(shù)據(jù)集時(shí)，使用$?=0.1$，達(dá)到了87.15%的攻擊成功率，以及96.6%的平均置信度。同時(shí)，作者發(fā)現(xiàn)，使用其他的簡單的方法也可以產(chǎn)生對抗樣本，比如使x在梯度方向上旋轉(zhuǎn)一定的角度，就可以產(chǎn)生對抗樣本。

5、Adversarial Training Of Linear Models Versus Weight Decay

? ? 我們拿最簡單的模型Logistic回歸為例。我們通過這個(gè)例子來分析如何生成對抗樣本。

? ? 我們的模型是用$P(y=1)=\sigma (w^{T}x+b)$ 辨別標(biāo)簽$y\in \{?1,1\}$ 。使用梯度下降的訓(xùn)練過程可以描述為：
$$E_{x,y～p_{data}}\zeta (?y(w^{T}x+b))$$
? ? 其中$\zeta (z)=log(1+exp(z))$ 。通過這個(gè)模型，我們來得到一個(gè)對對抗樣本訓(xùn)練的模型。

? ? 對模型而言，梯度的符號其實(shí)等于$?sign(w)$ ，而$w^{T}sign(w)=||w|{|}_1$。所以，對于對抗樣本來說，我們要做的就是最小化如下模型：
$$E_{x,y～p_{data}}\zeta (?y(w^T(x+\tilde{x})+b))=E_{x,y～p_{data}}\zeta (y(?||w|{|}_1?w^{T}x?b))$$
? ? 仔細(xì)觀察這個(gè)模型，你會(huì)覺得，這個(gè)公式很像L1正則化后的公式，但又有些不同，L1正則化是加上$?||w|{|}_1$ ，而我們得到的是減去該式子，作者也將該方法稱為$L^1$ 懲罰。但是，當(dāng)模型的$\zeta$ 飽和，模型能夠做出足夠自信的判斷的時(shí)候，該方法就會(huì)失效，該方法只能夠讓欠擬合更嚴(yán)重，但不能讓一個(gè)具有很好邊界的模型失效。

? ? 而且，當(dāng)我們將該方法轉(zhuǎn)移到多分類softmax回歸時(shí)，$L^1$ weight decay 會(huì)變得更糟糕，因?yàn)樗鼘oftmax的每個(gè)輸出視為獨(dú)立的擾動(dòng)，而實(shí)際上通常無法找到與類的所有權(quán)重向量對齊的單個(gè)η。在具有多個(gè)隱藏單元的深層網(wǎng)絡(luò)中，該方法高估了擾動(dòng)可能造成的損害。因?yàn)?#xff0c;$L^1$ weight decay高估了一個(gè)對抗樣本所能造成的危害，所以有必要將$L^1$ weight decay的系數(shù)設(shè)置的更小。更小的系數(shù)時(shí)訓(xùn)練能夠更成功，但也讓正則化效果不好。作者實(shí)驗(yàn)發(fā)現(xiàn)，對第一層來說，$L^1$ weight decay的系數(shù)設(shè)置為0.0025時(shí)都有些過大。但作者在MNIST訓(xùn)練集上訓(xùn)練maxout網(wǎng)絡(luò)使用0.25的系數(shù)卻獲得了很好的結(jié)果。？？？？？很迷。

六、Adversarial Training Of Deep Networks

? ? 深度模型并不像淺的模型那樣，它能夠表示出能夠抵抗對抗樣本的函數(shù)。廣義逼近定理（the universal approximator theorem）證明至少有一層隱藏層的神經(jīng)網(wǎng)絡(luò)能夠任意精度的表示任何函數(shù)，只要他有足夠的單元。而淺層線性模型既不能在訓(xùn)練點(diǎn)附近保持不變，又能將不同的輸出分配給不同的訓(xùn)練點(diǎn)。

? ? 當(dāng)然，廣義逼近定理并沒有說明訓(xùn)練算法是否能夠發(fā)現(xiàn)具有所有期望性質(zhì)的函數(shù)。很明顯的，標(biāo)準(zhǔn)的監(jiān)督學(xué)習(xí)并沒有具體說明，選擇的函數(shù)能夠抵御對抗樣本。這必須在訓(xùn)練程序中編碼才行。

? ? 使用對抗樣本做數(shù)據(jù)增廣可以暴露模型概念化決策函數(shù)上的缺陷，而且，從沒被證實(shí)，該方法在一個(gè)SOTA模型上的提升效果可以超過dropout。然而，這部分是因?yàn)楹茈y對基于L-BFGS的昂貴的對抗樣本進(jìn)行廣泛的實(shí)驗(yàn)。

? ? 基于FGSM的對抗訓(xùn)練是一個(gè)很有效率的正則化方法：
$$\tilde{J}(\theta ,x,y)=\alpha J(\theta ,x,y)+(1?\alpha )J(\theta ,x+?sign({?}_{x}J(\theta ,x,y)))$$
? ? 在實(shí)驗(yàn)中，使用$\alpha =0.5$ 。這個(gè)方法的意思時(shí)我們持續(xù)的生成對抗樣本來保證我們的模型可以抵御攻擊。

七、Different Kinds Of Model Capacity

? ? 作者認(rèn)為，處于三維空間的我們很難對高維空間有認(rèn)識，因此，我們沒法看出在高維空間中小的改變是如何產(chǎn)生一個(gè)大的影響的。

? ? 許多人認(rèn)為，低容量的模型很難做出很多不同的自信的預(yù)測，但這是不正確的。作者拿具有低容量的RBF網(wǎng)絡(luò)為例，$p(y=1|x)=exp((x?\mu {)}^T\beta (x?\mu ))$ ，RBF網(wǎng)絡(luò)只能夠預(yù)測在$\mu$ 范圍內(nèi)的正類，但是對其他范圍就具有低的預(yù)測置信度，這讓RBF網(wǎng)絡(luò)天生就不易受對抗樣本的影響，因?yàn)?#xff0c;當(dāng)RBF被攻擊時(shí)，它具有較低的置信度。一個(gè)沒有隱藏層的RBF網(wǎng)絡(luò)，在MNIST數(shù)據(jù)集上，使用FGSM方法進(jìn)行攻擊，具有55.4%的攻擊成功率。但是，它在誤分類樣本上的平均置信度只有1.2%。而在干凈的測試集上的平均置信度有60.6%。低容量的模型確實(shí)不能夠在所有的點(diǎn)上都能夠正確的分類，但是它卻可以在一些不能理解的點(diǎn)上，給予較低的置信度。

? ? 我們可以將線性單元和RBF單元看作是精確召回折衷曲線上的不同點(diǎn)。線性單元通過在某個(gè)方向上響應(yīng)每一個(gè)輸入來實(shí)現(xiàn)高召回率，但由于在不熟悉的情況下響應(yīng)太強(qiáng)，因此可能具有較低的精度。RBF單元只對空間中的某個(gè)特定點(diǎn)做出響應(yīng)，但這樣做會(huì)犧牲召回率，從而獲得較高的精度?；谶@一思想，我們決定探索包含二次單元的各種模型，包括深RBF網(wǎng)絡(luò)。我們發(fā)現(xiàn)這是一個(gè)非常困難的任務(wù)模型，當(dāng)使用SGD訓(xùn)練時(shí)，具有足夠的二次抑制以抵抗對抗性擾動(dòng)，獲得了較高的訓(xùn)練集誤差

八、Why Do Adversarial Examples Generalize

? ? 一個(gè)模型生成的對抗樣本，會(huì)被一些具有不同的架構(gòu)或者由不同訓(xùn)練集上訓(xùn)練出來的模型錯(cuò)誤分類，而且會(huì)錯(cuò)誤分類成一種類別。但基于極端非線性和過擬合，沒法解釋這種行為。因?yàn)?#xff0c;在這兩種觀點(diǎn)中，對抗樣本很常見，但只發(fā)生在特別精確的位置上。

? ? 而從線性的角度來看，對抗樣本會(huì)出現(xiàn)在廣闊的子空間中。只要$\eta$ 在損失函數(shù)的梯度方向上點(diǎn)積，$?$ 足夠大，一個(gè)模型就會(huì)被該對抗樣本所愚弄。

? ? 作者以$?$ 的值為變量，做了實(shí)驗(yàn)，來進(jìn)行證明。

? ? 作者發(fā)現(xiàn)，對抗樣本出現(xiàn)在連續(xù)的一維空間區(qū)域，這也就對應(yīng)了上述的解釋。

? ? 為了解釋，多個(gè)分類器會(huì)將對抗樣本分類成相同的類，他們假設(shè)目前方法所訓(xùn)練的神經(jīng)網(wǎng)絡(luò)看起來都像是在同一個(gè)訓(xùn)練集上訓(xùn)練出來一樣。在訓(xùn)練集的不同子集上訓(xùn)練時(shí)，這些分類器能夠?qū)W習(xí)到近似相同的分類權(quán)值。而這是因?yàn)闄C(jī)器學(xué)習(xí)的泛化能力。而根本的分類權(quán)值的穩(wěn)定性又能反過來影響對抗樣本的穩(wěn)定性。

? ? 為了測試這一假設(shè)，作者又進(jìn)行了如下的實(shí)驗(yàn)。作者在一個(gè)maxout網(wǎng)絡(luò)上生成了對抗樣本，然后用一個(gè)淺的softmax網(wǎng)絡(luò)和RBF網(wǎng)絡(luò)去分類這些樣本。這里作者討論了這兩個(gè)淺的網(wǎng)絡(luò)對 那些被maxout網(wǎng)絡(luò)分類錯(cuò)誤的對抗樣本 進(jìn)行分類所花費(fèi)的時(shí)間。然后作者通過實(shí)驗(yàn)發(fā)現(xiàn)RBF花費(fèi)的去適配這些分類錯(cuò)誤時(shí)間更少，是因?yàn)镽BF是線性的，也就是說，線性的模型更容易被遷移的攻擊，也就是說，線性造成了模型之間的泛化。

九、Alternative Hypotheses（其他的假設(shè)）

? ? 在這一節(jié)，作者主要介紹了對對抗樣本存在性的一些其他假設(shè)。

? ? 第一個(gè)要說的假設(shè)是，生成訓(xùn)練可以在訓(xùn)練過程中提供更多的限制條件，或者使模型學(xué)習(xí)如何區(qū)分“真實(shí)”和“虛假”數(shù)據(jù)，并且只對“真實(shí)”數(shù)據(jù)有高的置信度。文章表明，某些生成訓(xùn)練并不能達(dá)到假設(shè)的效果，但是不否認(rèn)可能有其他形式的生成模型可以抵御攻擊，但是確定的是生成訓(xùn)練的本身并不足夠。

? ? 另一個(gè)假設(shè)是，相比于平均多個(gè)模型，單個(gè)模型更能夠抵御對抗樣本的攻擊。作者做了實(shí)驗(yàn)證明了這個(gè)假設(shè)。作者在MNIST訓(xùn)練集上訓(xùn)練了12個(gè)maxout模型進(jìn)行集成，每一個(gè)都使用不同的隨機(jī)數(shù)種子來初始化權(quán)重，使用了dropout，minibatch的梯度下降，在對抗樣本攻擊的時(shí)候，具有91.1%的攻擊成功率。但是當(dāng)我們使用對抗樣本攻擊集成模型中的一個(gè)模型的時(shí)候，攻擊成功率下降到了87.9%。

十、Summary

• 對抗樣本可以被解釋成高維空間點(diǎn)乘的一個(gè)屬性，他們是模型太過于線性的結(jié)果。

• 不同模型之間的對抗性示例的泛化可以解釋為，對抗性擾動(dòng)與模型的權(quán)重向量高度一致，不同模型在訓(xùn)練執(zhí)行相同任務(wù)時(shí)學(xué)習(xí)相似的函數(shù)

• 最重要的是擾動(dòng)的方向，而不是空間中的特定點(diǎn)。對抗樣本在空間內(nèi)，并不是像空間中的有理數(shù)那樣平鋪的。

• 因?yàn)樽钪匾氖菙_動(dòng)的方法，所以對抗擾動(dòng)也可以在不同的訓(xùn)練集上進(jìn)行泛化

• 我們介紹了一組可以快速生成對抗樣本的方法(FGSM)

• 我們證明了，對抗訓(xùn)練可以用來正則化，甚至效果比dropout還要好

• 容易優(yōu)化的模型也容易被擾動(dòng)

• 線性模型缺乏抵抗對抗性擾動(dòng)的能力；只有具有隱藏層的結(jié)構(gòu)（在普遍近似定理適用的情況下）才應(yīng)該被訓(xùn)練來抵抗對抗性擾動(dòng)。

• RBF網(wǎng)絡(luò)可以抵御對抗樣本

• 訓(xùn)練來模擬輸入分布的模型不能夠抵御對抗樣本

• 集成策略不能夠抵御對抗樣本

• 對抗樣本的分布特征，即對抗樣本往往存在于模型決策邊界的附近，在線性搜索范圍內(nèi)，模型的正常分類區(qū)域和被對抗樣本攻擊的區(qū)域都僅占分布范圍的較小一部分，剩余部分為垃圾類別(rubbish class)

• 垃圾類別樣本是普遍存在的且很容易生成

• 淺的線性模型不能抵御垃圾類別樣本

• RBF網(wǎng)絡(luò)可以抵御垃圾類別樣本

  ? ? 使用一個(gè)設(shè)計(jì)成足夠線性的網(wǎng)絡(luò)——無論是ReLU或maxout網(wǎng)絡(luò)、LSTM，還是經(jīng)過精心配置以避免過多飽和的sigmoid網(wǎng)絡(luò)——我們能夠解決我們關(guān)心的大多數(shù)問題，至少在訓(xùn)練集上是這樣。對抗樣本的存在表明，能夠解釋訓(xùn)練數(shù)據(jù)，甚至能夠正確標(biāo)記測試數(shù)據(jù)并不意味著我們的模型真正理解我們要求他們執(zhí)行的任務(wù)。相反，他們的線性反應(yīng)在數(shù)據(jù)分布中沒有出現(xiàn)的點(diǎn)上過于自信，而這些自信的預(yù)測往往是非常錯(cuò)誤的。這項(xiàng)工作表明，我們可以通過明確地識別問題點(diǎn)并在每個(gè)問題點(diǎn)上修正模型來部分地糾正這個(gè)問題。然而，我們也可以得出這樣的結(jié)論：我們使用的模型族在本質(zhì)上是有缺陷的。優(yōu)化的容易程度是以容易被誤導(dǎo)的模型為代價(jià)的。這推動(dòng)了優(yōu)化程序的發(fā)展，這些程序能夠訓(xùn)練行為更局部穩(wěn)定的模型

總結(jié)

以上是生活随笔為你收集整理的对抗样本（三）FGSM的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。