ISC 2017中國互聯(lián)網(wǎng)安全大會舉辦了人工智能安全論壇。 我們把論壇總結(jié)成為一系列文章，本文為系列中的第二篇。

作者： 肖奇學(xué)¹, 許偉林², 李康¹ ?(1. 來自 360 Team Seri0us 團隊, 2. 美國弗吉尼亞大學(xué))

“逃逸攻擊就是要把百分之零點零零一的誤判率變成百分之百的攻擊成功率”。

雖然深度學(xué)習(xí)系統(tǒng)經(jīng)過訓(xùn)練可以對正常輸入達到很低的誤判率，但是當(dāng)攻擊者用系統(tǒng)化的方法能夠生成誤判樣本的時候，攻擊的效率就可以接近100%，從而實現(xiàn)穩(wěn)定的逃逸攻擊。

逃逸攻擊簡介

逃逸是指攻擊者在不改變目標(biāo)機器學(xué)習(xí)系統(tǒng)的情況下，通過構(gòu)造特定輸入樣本以完成欺騙目標(biāo)系統(tǒng)的攻擊。例如，攻擊者可以修改一個惡意軟件樣本的非關(guān)鍵特征，使得它被一個反病毒系統(tǒng)判定為良性樣本，從而繞過檢測。攻擊者為實施逃逸攻擊而特意構(gòu)造的樣本通常被稱為“對抗樣本”。只要一個機器學(xué)習(xí)模型沒有完美地學(xué)到判別規(guī)則，攻擊者就有可能構(gòu)造對抗樣本用以欺騙機器學(xué)習(xí)系統(tǒng)。例如，研究者一直試圖在計算機上模仿人類視覺功能，但由于人類視覺機理過于復(fù)雜，兩個系統(tǒng)在判別物體時依賴的規(guī)則存在一定差異。對抗圖片恰好利用這些差異使得機器學(xué)習(xí)模型得出和人類視覺截然不同的結(jié)果，如圖1所示^[1]。

圖1: 攻擊者生成對抗樣本使系統(tǒng)與人類有不同的判斷

一個著名的逃逸樣本是Ian Goodfellow^[2]在2015年ICLR會議上用過的熊貓與長臂猿分類的例子。 被攻擊目標(biāo)是一個來谷歌的深度學(xué)習(xí)研究系統(tǒng)。該系統(tǒng)利用卷積神經(jīng)元網(wǎng)絡(luò)能夠精確區(qū)分熊貓與長臂猿等圖片。但是攻擊者可以對熊貓圖片增加少量干擾，生成的圖片對人來講仍然可以清晰地判斷為熊貓，但深度學(xué)習(xí)系統(tǒng)會誤認(rèn)為長臂猿。 圖2顯示了熊貓原圖以及經(jīng)過擾動生成后的圖片。

圖2: 在圖片中添加擾動導(dǎo)致深度學(xué)習(xí)系統(tǒng)的錯誤識別實例

下面我們從攻擊者的角度介紹如何系統(tǒng)生成對抗樣本來達到穩(wěn)定的逃逸攻擊。不關(guān)心技術(shù)細節(jié)的讀者可忽略這些內(nèi)容，直接跳到文章結(jié)尾的總結(jié)部分。

基于機器學(xué)習(xí)的對抗樣本生成

基于機器學(xué)習(xí)的逃逸攻擊可分為白盒攻擊和黑盒攻擊。白盒攻擊需要獲取機器學(xué)習(xí)模型內(nèi)部的所有信息，然后直接計算得到對抗樣本；黑盒攻擊則只需要知道模型的輸入和輸出，通過觀察模型輸出的變化來生成對抗樣本。

2.1白盒攻擊

深度神經(jīng)網(wǎng)絡(luò)是數(shù)學(xué)上可微的模型，在訓(xùn)練過程中通常使用反向傳播算法得到每層的梯度來調(diào)整網(wǎng)絡(luò)參數(shù)。假設(shè)神經(jīng)網(wǎng)絡(luò)的輸入是X，類別標(biāo)簽是Y， 網(wǎng)絡(luò)參數(shù)是W，輸出是F(X)=W*X。訓(xùn)練神經(jīng)網(wǎng)絡(luò)時，對于每個確定的輸入樣本X，我們反復(fù)調(diào)整網(wǎng)絡(luò)參數(shù)W使得輸出值F(X)趨向于該樣本的類別標(biāo)簽Y。白盒攻擊使用同樣的方法，區(qū)別只是我們固定網(wǎng)絡(luò)參數(shù)W，反復(fù)修改輸入樣本X使得輸出值F(X)趨向于攻擊目標(biāo)Y’。這意味著我們只需要修改目標(biāo)函數(shù)以及約束條件，就可以使用與訓(xùn)練神經(jīng)網(wǎng)絡(luò)同樣的方法計算得到對抗性樣本^[3]。

白盒攻擊的約束條件是一個關(guān)鍵部分。從X起始求解X’使得F(X’)=Y’的過程中，我們必須保證X’的標(biāo)簽不是Y’。例如，對于一個手寫體輸入“1”，如果我們把它改成“2”使得模型判別是“2”，那就不算是攻擊。在計算機視覺領(lǐng)域，我們不太可能使用人力判定攻擊方法生成的每一個樣本X’，因此引入了距離函數(shù)Δ(X, X’)。我們假設(shè)在一定的距離內(nèi)，X’的 含義和標(biāo)簽與X是一致的。距離函數(shù)可以選擇不同的Norm來表示，比如L₂, L_∞, 和L₀ 。

L-BFGS是第一種攻擊深度學(xué)習(xí)模型的方法，它使用L₂-Norm限制X’的范圍，并使用最優(yōu)化方法L-BFGS計算得到X’。后來基于模型的線性假設(shè)，研究者又提出了Fast Gradient Sign Method (FGSM)^[2] 和DeepFool^[4]等一些新方法。如果以距離Δ(X, X’)最小為目標(biāo)，目前最先進的方法是Carlini-Wagner，它分別對多種距離函數(shù)做了求解優(yōu)化。

2.2 黑盒攻擊

黑盒攻擊只依賴于機器學(xué)習(xí)模型的輸出，而不需要了解模型內(nèi)部的構(gòu)造和狀態(tài)。遺傳（進化）算法即是一個有效的黑盒攻擊方法。

遺傳算法是在計算機上模仿達爾文生物進化論的一種最優(yōu)化求解方法。它主要分為兩個過程：首先通過基因突變或雜交得到新一代的變種，然后以優(yōu)勝劣汰的方式選擇優(yōu)勢變種。這個過程可以周而復(fù)始，一代一代地演化，最終得到我們需要的樣本。

把遺傳算法用于黑盒逃逸攻擊時，我們利用模型的輸出給每一個變種打分，F(X’)越接近目標(biāo)標(biāo)簽Y’則得分越高，把高分變種留下來繼續(xù)演化，最終可以得到F(X’)=Y’。這種方法已經(jīng)成功用于欺騙基于機器學(xué)習(xí)的計算機視覺模型以及惡意軟件檢測器。

3.基于遺傳算法的對抗樣本生成?

3.1 對Gmail PDF過濾的逃逸攻擊?

本文作者許偉林一年前在NDSS大會上發(fā)表了名為Automatically Evading Classifiers的論文^[5]。研究工作采用遺傳編程（Genetic Programming）隨機修改惡意軟件的方法，成功攻擊了兩個號稱準(zhǔn)確率極高的惡意PDF文件分類器：PDFrate 和Hidost 。這些逃逸檢測的惡意文件都是算法自動修改出來的，并不需要PDF安全專家介入。圖3顯示了對抗樣本生成的基本流程。

圖3: 利用進化算法生成惡意PDF對抗變種

同樣的算法可以用來對實際應(yīng)用的機器學(xué)習(xí)系統(tǒng)進行逃逸攻擊。上面提到的工作可以對 Gmail內(nèi)嵌的惡意軟件分類器進行攻擊，并且只需4行代碼修改已知惡意PDF樣本就可以達到近50%的逃逸率，10億Gmail用戶都受到影響。

3.2 利用Fuzzing測試的對抗樣本生成?

除了對模型和算法的弱點進行分析，黑盒攻擊還可以借鑒模糊測試的方法來實現(xiàn)對抗樣本的生成。下面以手寫數(shù)字圖像識別為例，我們的目標(biāo)是產(chǎn)生對抗圖片，使其看起來是“1”，而人工智能系統(tǒng)卻識別為“2”。我們的主要思路是將這樣一個對抗樣本生成的問題，轉(zhuǎn)換為一個漏洞挖掘的問題，如下圖4所示。

圖4：針對手寫數(shù)字圖像識別的對抗樣本生成

我們主要是利用灰盒fuzzing測試的方法來實現(xiàn)，首先給定數(shù)字“1”的圖片作為種子，然后通過對種子圖片進行變異，如果機器學(xué)習(xí)系統(tǒng)將變異后的圖片識別為“2”，那么我們認(rèn)為這樣一個圖片就是對抗樣本。

利用Fuzzing測試的對抗樣本生成是基于AFL來實現(xiàn)的，主要做了以下幾方面的改進：

是漏洞注入，我們在機器學(xué)習(xí)系統(tǒng)中添加一個判斷，當(dāng)圖片被識別為2時，則人為產(chǎn)生一個crash；

是在數(shù)據(jù)變異的過程中，我們考慮文件格式的內(nèi)容，優(yōu)先對一些圖像內(nèi)容相關(guān)的數(shù)據(jù)進行變異；

是在AFL已有的路徑導(dǎo)向的基礎(chǔ)上，增加一些關(guān)鍵數(shù)據(jù)的導(dǎo)向。

下圖5是我們生成的一些對抗樣本的例子。

圖5：針對手寫數(shù)字圖像的對抗樣本生成結(jié)果

基于Fuzzing測試的對抗樣本生成方法也可以快速的應(yīng)用到其他AI應(yīng)用系統(tǒng)中，如人臉識別系統(tǒng)。

圖6：針對人臉識別系統(tǒng)的對抗樣本生成

基于軟件漏洞進行逃逸攻擊?

針對AI系統(tǒng)的對抗性攻擊，就是讓人工智能系統(tǒng)輸出錯誤的結(jié)果。 還是以手寫圖像識別為例，攻擊者可以構(gòu)造惡意的圖片，使得人工智能系統(tǒng)在分類識別圖片的過程中觸發(fā)相應(yīng)的安全漏洞， 改變程序正常執(zhí)行的控制流或數(shù)據(jù)流，使得人工智能系統(tǒng)輸出攻擊者指定的結(jié)果。 攻擊思路基本分為兩種：

基于數(shù)據(jù)流篡改可以利用任意寫內(nèi)存漏洞，直接將AI系統(tǒng)中的一些關(guān)鍵數(shù)據(jù)進行修改(如標(biāo)簽、索引等)， 使得AI系統(tǒng)輸出錯誤的結(jié)果。 2. 另一種則是通過常規(guī)的控制流劫持(如堆溢出、棧溢出等漏洞)來完成對抗攻擊，由于控制流劫持漏洞可以通過漏洞實現(xiàn)任意代碼的執(zhí)行，因此必然可以控制AI系統(tǒng)輸出攻擊者預(yù)期的結(jié)果。

關(guān)于軟件漏洞造成的問題我們在本系列第一篇文章里已有詳細介紹。 這里只做了一個簡單介紹, 更多細節(jié)請參考ISC 2017大會人工智能與安全論壇所發(fā)布的內(nèi)容。

小結(jié)

本文的目的是繼續(xù)介紹被大眾所忽視的人工智能安全問題。雖然深度學(xué)習(xí)在處理自然生成的語音圖像等以達到相當(dāng)高的準(zhǔn)確率，但是對惡意構(gòu)造的輸入仍然有巨大的提升空間。雖然深度學(xué)習(xí)系統(tǒng)經(jīng)過訓(xùn)練可以對正常輸入達到很低的誤判率，但是當(dāng)攻擊者用系統(tǒng)化的方法能夠生成誤判樣本的時候，攻擊的效率就可以接近100%， 從而實現(xiàn)穩(wěn)定的逃逸攻擊。 隨著人工智能應(yīng)用的普及，相信對逃逸攻擊的研究也會越來越深入。這些研究包括對抗樣本生成以及增強深度學(xué)習(xí)對抗能力，我們未來會在后續(xù)文章里對這方面的工作進行更新。

參考文獻

[1] http://www.freebuf.com/articles/neopoints/124614.html

[2] Ian Goodfellow and Jonathon Shlens and Christian Szegedy, Explaining and Harnessing Adversarial Examples. International Conference on Learning Representations, 2015.

[3] guyen, A., J. Yosinski, and J. Clune, Deep neural networks are easily fooled: High confidence predictions for unrecognizable images. 2015: p. 427-436.

[4] Moosavi Dezfooli, Seyed Mohsen and Fawzi, Alhussein and Frossard, Pascal, DeepFool: a simple and accurate method to fool deep neural networks, Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016.

[5] Weilin Xu, Yanjun Qi, and David Evans, Automatically Evading Classifiers A Case Study on PDF Malware Classifiers, NDSS, 2016

http://blogs.360.cn/blog/evasion-attacks-on-ai-system/

總結(jié)

以上是生活随笔為你收集整理的对深度学习的逃逸攻击 — 探究人工智能系统中的安全盲区的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。