本文提出一種新的黑盒對(duì)抗攻擊方法AdvFlow，通過利用標(biāo)準(zhǔn)化流來建模對(duì)抗樣本的數(shù)據(jù)分布，使得生成的對(duì)抗樣本的分布和正常樣本接近，從而讓對(duì)抗樣本更難被檢測(cè)出來，打破了對(duì)抗樣本和正常樣本的分布大不相同的固有認(rèn)知。

論文地址：https://arxiv.org/abs/2007.07435

論文代碼：https://github.com/hmdolatabadi/AdvFlow

本文為極市原創(chuàng)投稿，轉(zhuǎn)載請(qǐng)獲得授權(quán)。

引言

雖然神經(jīng)網(wǎng)絡(luò)在很多機(jī)器學(xué)習(xí)任務(wù)上都取得了非凡的表現(xiàn)，但是通過對(duì)輸入樣本添加微小的擾動(dòng)，就能使其分類錯(cuò)誤（這也就是對(duì)抗攻擊）。神經(jīng)網(wǎng)絡(luò)對(duì)對(duì)抗攻擊的脆弱性，大大限制了它們?cè)诂F(xiàn)實(shí)生活中的廣泛應(yīng)用。因此，設(shè)計(jì)出有效的對(duì)抗攻擊方法來模擬現(xiàn)實(shí)世界中可能出現(xiàn)的各種威脅，有利于我們不斷改進(jìn)神經(jīng)網(wǎng)絡(luò)模型，使得模型對(duì)這些攻擊更加魯棒。一般來說，對(duì)抗攻擊的方法可以分為兩大類：白盒攻擊和黑盒攻擊。在白盒攻擊中，攻擊者對(duì)要攻擊的模型（目標(biāo)模型）了如指掌，比如目標(biāo)模型的結(jié)構(gòu)，參數(shù)等等都可以獲得。而在黑盒攻擊中，攻擊者對(duì)目標(biāo)模型的內(nèi)部一無所知，只能通過不斷詢問模型，給定輸入，觀察模型的輸出，來和模型進(jìn)行互動(dòng)。因此，黑盒攻擊更加貼近現(xiàn)實(shí)場(chǎng)景。在本文中，作者提出了一種有效的黑盒攻擊方法，借助流模型的思想來建模對(duì)抗樣本的數(shù)據(jù)分布，使之接近正常樣本，從而生成了更難被檢測(cè)出來的對(duì)抗樣本。

論文貢獻(xiàn)

該論文的貢獻(xiàn)可以總結(jié)為以下三點(diǎn)：

• 作者提出了一種新的黑盒攻擊方法AdvFlow, 首次將流模型應(yīng)用到對(duì)抗攻擊方法中。

• 作者理論上證明了AdvFlow生成的對(duì)抗擾動(dòng)各成分之間具有依賴性，而類似的攻擊方法NATTACK [1]則不具有這個(gè)性質(zhì)。

• AdvFlow生成的對(duì)抗樣本的數(shù)據(jù)分布和正常樣本接近，從而更難被對(duì)抗樣本檢測(cè)器發(fā)現(xiàn)。

模型介紹

黑盒攻擊

給定輸入樣本$x\in X^d$和目標(biāo)模型$C$，則$x$的對(duì)抗樣本$x_{\text{adv}}$可由如下公式生成：

$$\begin{array}{c}{\mathbf{x}}_{adv}=\underset{{\mathbf{x}}^{\prime }\in \mathcal{S}(\mathbf{x})}{\mathrm{argmin}}\mathcal{L}\left({\mathbf{x}}^{\prime }\right)\\ \mathcal{L}\left({\mathbf{x}}^{\prime }\right)=\max \left(0,\log \mathcal{C}{\left({\mathbf{x}}^{\prime }\right)}_y?{\max }_{c=y}\log \mathcal{C}{\left({\mathbf{x}}^{\prime }\right)}_c\right)\\ \mathcal{S}(\mathbf{x})=\left\{{\mathbf{x}}^{\prime }\in {\mathcal{X}}^d\mid {\Vert {\mathbf{x}}^{\prime }?\mathbf{x}\Vert }_p\le {?}_{\max }\right\}\end{array}$$

這里${C(x^{\prime })}_y$表示分類器輸出的第$y$個(gè)元素，$S(x)$表示$x$的對(duì)抗樣本的定義域。

標(biāo)準(zhǔn)化流（NF）

標(biāo)準(zhǔn)化流（NF）是一種生成模型，目標(biāo)在于建模給定數(shù)據(jù)集的概率分布。假設(shè)$Z,X\in {\mathbb{R}}^d$分別為兩個(gè)隨機(jī)向量，從$Z$到$X$的轉(zhuǎn)換函數(shù)為$f:\ \mathbb{R}^ozvdkddzhkzd \rightarrow \ \mathbb{R}^ozvdkddzhkzd\ $, $f$可逆并且可微。若已知$Z$的概率分布為$p(z)$, 則$X$的概率分布為：

$$p(\mathrm{x})=p(\mathrm{z}){\left|\det \left(\frac{?\mathrm{f}}{?\mathrm{z}}\right)\right|}^{?1}$$

流模型一般使用可逆神經(jīng)網(wǎng)絡(luò)（INN）來建模轉(zhuǎn)換函數(shù)$f$，從而得到$X$的數(shù)據(jù)分布。在本文中，作者假設(shè)隨機(jī)向量$Z$服從正態(tài)分布。

標(biāo)準(zhǔn)化流（NF）利用極大似然估計(jì)作為目標(biāo)函數(shù)來訓(xùn)練可逆神經(jīng)網(wǎng)絡(luò)（INN）的參數(shù)$\theta$，具體公式為：

$${\mathbf{\theta }}^{?}=\underset{\mathbf{\theta }}{\mathrm{argmax}}\frac{1}{n}\sum _{i=1}^n\log p_{\mathbf{\theta }}\left({\mathbf{x}}_i\right)$$

AdvFlow

令$\text{f?}$表示在正常樣本上預(yù)訓(xùn)練的滿足可逆和可微性質(zhì)的標(biāo)準(zhǔn)化流（NF）模型，則AdvFlow生成對(duì)抗樣本的公式為：

$${\mathbf{x}}^{\prime }={\mathrm{proj}}_{\mathcal{S}}(\mathbf{f}(\mathbf{z})),\mathbf{z}～\mathcal{N}\left(\mathbf{z}\mid \mathbf{\mu },{\sigma }^{2}I\right)$$

這里${\text{proj}}_S$表示一個(gè)映射規(guī)則，限制生成的對(duì)抗樣本在定義域$S(x)$內(nèi)。$z$為服從均值為$\mu$，方差為${\sigma }^2$的正態(tài)分布的隨機(jī)向量。通過前面介紹的標(biāo)準(zhǔn)化流的思想，我們可知*$f(z)$的分布和正常樣本的分布接近，從而生成的對(duì)抗樣本的分布也就接近正常樣本。

• AdvFlow生成的對(duì)抗擾動(dòng)的唯一性：

假設(shè)$f(x)$為一個(gè)可逆并且可微的函數(shù)，${\delta }_z$為一個(gè)小的擾動(dòng)，則有

$$\delta =\mathrm{f}\left({\mathrm{f}}^{?1}(\mathrm{x})+{\delta }_z\right)?\mathrm{x}\approx {\left(?{\mathrm{f}}^{?1}(\mathrm{x})\right)}^{?1}{\delta }_z$$

作者證明發(fā)現(xiàn)AdvFlow生成的對(duì)抗擾動(dòng)各成分之間具有依賴性，而NATTACK生成的對(duì)抗擾動(dòng)各成分之間互相獨(dú)立。如下圖所示，?為正常樣本，(b)和(d)分別為AdvFlow和NATTACK生成的對(duì)抗樣本，(a)和(d)分別為AdvFlow和NATTACK生成的對(duì)抗擾動(dòng)。我們可以發(fā)現(xiàn)AdvFlow生成的對(duì)抗擾動(dòng)捕獲了原始圖片的結(jié)構(gòu)信息，而不僅僅是噪聲。

實(shí)驗(yàn)結(jié)果

可檢測(cè)性

利用預(yù)訓(xùn)練好的對(duì)抗樣本檢測(cè)器來檢測(cè)不同方法生成的對(duì)抗樣本，檢測(cè)準(zhǔn)確率越低，說明生成的對(duì)抗樣本越難被發(fā)現(xiàn)。

如上表所示，AdvFlow (un.)表示NF模型的權(quán)重沒有經(jīng)過預(yù)訓(xùn)練，是隨機(jī)的。AdvFlow (tr.)表示NF模型的權(quán)重是預(yù)訓(xùn)練好的。相比于NATTACK方法，我們可以看到AdvFlow（tr.）模型生成的對(duì)抗樣本更難被檢測(cè)器發(fā)現(xiàn)。

此外，如下圖所示，我們可以發(fā)現(xiàn)AdvFlow生成的對(duì)抗樣本的分布更加接近原始正常樣本的分布，為其更難被檢測(cè)出來提供了有力的依據(jù)。

對(duì)抗攻擊成功率

如上表所示，在四種對(duì)抗攻擊方法中，AdvFlow的性能基本超越了其他三種方法。

遷移性

如上圖所示，混淆矩陣中每個(gè)數(shù)值表示用對(duì)應(yīng)行的分類器生成的對(duì)抗樣本去攻擊對(duì)應(yīng)列的分類器所得到的成功率。可以看到，在不同的網(wǎng)絡(luò)結(jié)構(gòu)和數(shù)據(jù)集上，AdvFlow比NATTACK具有更好的遷移性。

發(fā)展應(yīng)用

基于本文工作的另一篇工作Black-box Adversarial Example Generation with Normalizing Flows [2]發(fā)表在了ICML 2020 Workshop上。為了使AdvFlow算法更快地收斂，該篇論文給出了如下生成對(duì)抗樣本的流程圖。

給定原始輸入樣本$x$，預(yù)訓(xùn)練的標(biāo)準(zhǔn)化流模型$f(?)$，首先將樣本$x$通過$f^{?1}(?)$映射為分布空間的表征$z=f^{?1}(x)$，然后將擾動(dòng)向量${\delta }_z=\mu +\sigma ?$, $?～N(?|0,I)$加到$z$上得到對(duì)抗樣本在分布空間的表征$z_{\text{adv}}$，最后將$z_{\text{adv}}$通過流模型$f(?)$再映射回輸入樣本空間，得到對(duì)抗樣本$x_{\text{adv}}$。得益于標(biāo)準(zhǔn)化流模型所具有的良好性質(zhì)（可逆性和可微性），在該種方法中，對(duì)抗樣本和原始樣本在分布空間的表征足夠接近，因而生成的對(duì)抗樣本和原始樣本也十分相似。

此外，近幾個(gè)月，作者在博客中介紹了將AdvFlow應(yīng)用到高分辨率圖像上的方法。由于高分辨率圖像需要更大計(jì)算開銷，為了解決這個(gè)問題，作者提出了如下的設(shè)計(jì)方案：

首先對(duì)原始高分辨率圖像進(jìn)行下采樣，然后在下采樣后的低維空間中，應(yīng)用AdvFlow生成對(duì)抗樣本，再計(jì)算低維空間中下采樣圖片和對(duì)抗樣本之間的差異，將該差異上采樣后加到原始的高分辨率圖像上，從而得到高分辨率對(duì)抗樣本，進(jìn)一步拓寬了AdvFlow的應(yīng)用場(chǎng)景。

【參考】

[1] Li, Y., Li, L., Wang, L., Zhang, T., and Gong, B. (2019). NATTACK: learning the distributions

of adversarial examples for an improved black-box attack on deep neural networks. In Proceedings

of the 36th International Conference on Machine Learning (ICML), pages 3866–3876

[2] Dolatabadi, H.M., Erfani, S., & Leckie, C. (2020). Black-box Adversarial Example Generation with Normalizing Flows. ArXiv, abs/2007.02734.

[3] https://github.com/hmdolatabadi/AdvFlow

[4] https://hmdolatabadi.github.io/posts/2020/10/advflow

作者東瓠，上海交通大學(xué)計(jì)算機(jī)系碩士研究生在讀。歡迎大家聯(lián)系極市小編（微信ID:fengcall19）加入極市原創(chuàng)作者行列

總結(jié)

以上是生活随笔為你收集整理的AdvFlow：一种基于标准化流的黑盒攻击新方法，产生更难被发觉的对抗样本 | NeurIPS‘20的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。