栗子、安妮發自凹非寺，量子位出品，公眾號 QbitAI

　　觸摸屏，也能出賣你的手機密碼。

　　手機的內置麥克風，搭配 AI 算法，就能讓輸入的每一個字無處可逃。

　　你可能聽不到，但手指每在屏幕上輕輕點一下，都會發出一個聲波。離屏幕不到 1 厘米遠的麥克風，輕輕松松就能記錄下來。

　　劍橋大學的科學家們，開發了一只偷聽觸摸屏的 AI。它能從細微的聲音中，還原出人類輸入的信息。

　　45 名志愿者真人測試，數字、字母，都被 AI“偷”了出來。

　　聲波出賣你

　　四顧無人時悄咪咪在觸摸屏上解個鎖，怎么就被聲波泄露了密碼呢？

　　“聽到你的觸摸”，這是論文的名字 (完整版：Hearing your touch: A new acoustic side channel on smartphones) 。在這里，研究人員揭秘了“作案思路”，其實并不難理解。

　　即使是在觸摸屏上輕悄悄地操作，手指的每一次輕微的敲擊都會產生聲波。當戳擊屏幕不同位置時，聲波信息也會有相應的變化。

△觸摸屏上按下“f”鍵時的聲波震動形狀

　　沒錯，關鍵信息就隱藏在這些形狀不同的聲波里。而這些信息，恰巧可以被手機內置的麥克風捕捉到。

　　研究人員反手開發了一個手機惡意應用程序，當這個程序被植入手機時，能夠調動內置麥克風，讓其秘密開始工作，記錄下觸摸時的聲波信息。

　　△實驗所用的惡意聲波收集程序

　　他們收集了聲波形狀與觸摸位置的對應信息，訓練出了一個 AI 模型，還原輸入內容。

　　至此，作案流程已經基本成型：

　　惡意程序悄悄啟動→悄悄捕捉輸入密碼時的聲波→AI 模型預測手指對應在屏幕的位置→還原輸入的密碼和信息。

　　AI 伙同麥克風，分工明確，里應外合，井然有序地就將你的隱私偷走了。

　　現場驗證

　　這套程序的效果如何？研究人員找來了 45 位志愿者，開始了一系列測試。

　　整套測試的機型選用了 Google 旗下的 Nexus 5 手機以及 Nexus 9 平板。前者為 2013 年首發，屏幕大小為 4.95 英寸，后者為 2014 年發布，屏幕為 8.9 英寸。兩款設備均內置 2 個麥克風。

　　△實驗設備麥克風位置示意：左為 Nexus 5，右為 Nexus 9

　　為了模擬真實世界的環境，研究人員沒有選擇安靜的實驗室，而是選取了 3 種日常環境，測試在不同噪音環境下整個系統的準確度：

• 公共休息室：周圍是聊天的人類，偶爾會出現煮咖啡時發出的較大噪音。

• 閱覽室：電腦鍵盤聲與小聲說話聲混合的環境。

• 圖書館：幾乎沒有說話聲，但電腦鍵盤聲環繞四周。

　　研究人員在這三個環境中，讓 45 名志愿者分別進行了 4 組實驗。

　　第一組志愿者需要隨機輸入數字1-9，每個數字各輸入 10 次，第二組需要輸入 200 組四位數字的密碼，第三組隨機輸入字母，第四組需要輸入 5 個字母組成的單詞，這些單詞均來自聊天語料庫 NPS。

　　實驗結果驗證了這種攻擊方法可行性。

　　在 20 次實驗中，AI 能準確還原 150 個四位數字密碼中的 91 個，還原準確率為 61%。

　　破解字母組成的暗號也不成問題。用 27 個單詞密碼測試時，只進行 10 次實驗，模型在手機上破解了 7 個單詞，在平板上成功還原出其中的 19 個。

　　就是這樣，你毫無察覺，但密碼不脛而走。

　　我有許多小 mimi，都在聲波里

　　其實不用慌，因為 AI 想拿到手機密碼，也不止這一種方法。

　　去年 9 月，英國蘭卡斯特大學發表的研究，用手機揚聲器里的聲吶，竊取密碼，特別是圖形密碼。

　　聲吶的原理是，計算聲波從發出到返回之間的時差，來確定物體的位置，以及物體有沒有移動。這項研究里，AI 分析麥克風錄下的回聲，便可以追蹤用戶手指在智能手機屏幕上的移動軌跡了。

　　也是在你沒有察覺的時候，一切就發生了。

　　當然，上面這些只是手機上的問題。

　　如今，從鍵盤到硬盤，哪一個聽不到你的秘密？

　　(請注意，這是一句嚴肅的話，沒有開車。)

　　就連家里的盆栽，可能也知道你說了什么。

　　所以，我們一個一個講。

　　聽一下鍵盤先

　　去年 12 月，就有個名叫Keytap的鍵盤竊聽法術，簡單有效，吸引了大片關注。

　　先用麥克風采集一下敲擊各種按鍵的聲波，比如每個鍵收集三次。

　　再搭個簡單的預測模型，算出每個按鍵的平均波形：

　　把收集好的聲波的峰值對齊，避免延時影響；再用相似度指標 (Similarity Metric) 精細地對齊波形；對齊之后，做個簡單加權平均，就得到平均波形了。

　　最后，盡情敲鍵盤吧，只要和平均波形比對一下相似度，就能檢測出是哪個按鍵了。

　　還有開源代碼，大家可以直接玩耍。

　　硬盤偷聽，麥克風也不用

　　這是密歇根大學和浙大學者腦洞的結晶。原原本本的機械硬盤，不加麥克風，不做任何硬件改動，就變成了竊聽器，且音質不俗：

　　硬盤工作的時候，主軸高速運轉帶動盤片，上面的磁頭會感應盤片上的磁場變化，通過改變磁場，來寫入數據。

　　這個過程非常精細。只要受到外部的聲波沖擊，磁頭就會發生偏移。硬盤的位置傳感器，產生的電壓信號里就會體現出這個偏移。

　　讓 AI 去分析這細小的偏移，科學家們還原了人類說的話，又還原了高保真的音樂，Shazam 的聽歌識曲也能答對歌名。

　　畢竟，硬盤的采樣率超過 30,000 赫茲，幾乎是 CD 級的錄音質量。

　　薯片，不只是清脆

　　優雅的聲音，可能是吃薯片最大的快感。

　　但偷聽人類說話，科學家們不是靠薯片碎裂發出的聲波，而是在視覺上動了心思。

　　MIT、微軟和 Adobe 組成的混合團隊，用高速相機透過隔音玻璃，拍攝出薯片袋的振動，算法便能判斷說話的人是男是女，甚至還原講話的內容。

　　研究人員說，聲音傳播時觸碰到周圍的物體，會在振動中形成一股微妙的視覺信號，肉眼不會發覺，但高速相機（每秒 2000~6000 幀）捕捉得到。AI 分析視覺信號，便能聽出人類的談話了。

　　而且，不止薯片袋，鋁箔、水杯甚至植物盆栽，都可以用來偷聽。這些物件在房間里出現，人類又絲毫不會覺得奇怪，真是得天獨厚。

　　這項研究，中選了頂會 SIGGRAPH 2014。

　　如此說來，或許世間萬物，都知道你的秘密。

　　不過還好，這些方法還在研究階段。

　　傳送門

　　這篇論文的研究人員共有四位，分別為劍橋大學的 Ilia Shumailov、Jeff Yan、Ross Anderson 及三星美國研究院 Laurent Simon。

　　論文 Hearing your touch: A new acoustic side channel on smartphones 地址：

　　https://arxiv.org/abs/1903.11137

總結

以上是生活随笔為你收集整理的剑桥大学新研究，用AI算法“监听”手机打字的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。