獲取用戶(hù)在虛擬屏幕上的文本輸入，需要克服兩個(gè)難題：首先是通過(guò)聲音判斷敲擊的位置；其次是消除噪音干擾。劍橋大學(xué)的研究人員設(shè)計(jì)了一個(gè)AI“偷聽(tīng)”算法，可以通過(guò)監(jiān)聽(tīng)手指敲擊屏幕的聲音竊取手機(jī)密碼。

盜取密碼，只要聽(tīng)聽(tīng)你敲鍵盤(pán)的聲音就夠了。

曾經(jīng)，通過(guò)鍵盤(pán)記錄程序來(lái)盜取密碼就已經(jīng)非常可怕了；然而，現(xiàn)在更駭人聽(tīng)聞的黑科技誕生了！

劍橋大學(xué)的研究人員設(shè)計(jì)了一個(gè)AI“偷聽(tīng)”算法，只需要通過(guò)監(jiān)聽(tīng)手指敲擊屏幕的聲音，就能夠竊取到手機(jī)密碼：

論文地址：

https://arxiv.org/pdf/1903.11137.pdf

這個(gè)新穎的攻擊方法的原理是將手指敲擊屏幕所產(chǎn)生的聲音，在虛擬鍵盤(pán)上恢復(fù)成對(duì)應(yīng)的輸入字符。

論文作者表示：

敲擊屏幕的聲波可以通過(guò)設(shè)備的麥克風(fēng)進(jìn)行恢復(fù)，就像“聽(tīng)到”了手指的觸摸一樣，虛擬屏幕上聲波的失真的這一特征便是敲擊鍵盤(pán)的位置。因此，只需要通過(guò)內(nèi)置麥克風(fēng)錄下聲音，惡意程序就可以在用戶(hù)輸入時(shí)推斷出對(duì)應(yīng)的字符。

實(shí)驗(yàn)原理

針對(duì)鍵盤(pán)的聲學(xué)攻擊并不新鮮。

利用麥克風(fēng)，根據(jù)鍵盤(pán)獨(dú)特的物理特性或缺陷來(lái)識(shí)別物理按鍵的方法已經(jīng)很成熟了，但是在虛擬鍵盤(pán)的識(shí)別上存在著很大的困難。因?yàn)樘摂M鍵盤(pán)上的點(diǎn)擊發(fā)生在同一個(gè)表面上，需要通過(guò)一些特殊的方法來(lái)確定手指敲擊的位置。

劍橋大學(xué)的研究團(tuán)隊(duì)開(kāi)發(fā)了一款app，可以復(fù)原敲擊的聲音，并將其與擊鍵聯(lián)系起來(lái)。該程序使用的機(jī)器學(xué)習(xí)算法是離線訓(xùn)練的，并針對(duì)特定的智能手機(jī)或平板電腦模型進(jìn)行調(diào)整。

這個(gè)算法需要克服一個(gè)重大的工程挑戰(zhàn)在于：如何解釋敲擊時(shí)，指尖所產(chǎn)生的干擾振動(dòng)。事實(shí)上，當(dāng)用手指敲擊屏幕的時(shí)候，聲波不僅在空氣中傳播，更重要的是在設(shè)備本身之間傳播。敲擊會(huì)導(dǎo)致屏幕震動(dòng)，而這種震動(dòng)模式，可以被多麥克風(fēng)捕獲并進(jìn)行區(qū)分。

實(shí)際應(yīng)用場(chǎng)景中，噪聲會(huì)極大的影響麥克風(fēng)對(duì)敲擊聲的探測(cè)。為了解決這一問(wèn)題，研究人員將反饋聲音與振動(dòng)反饋進(jìn)行交叉關(guān)聯(lián)，消除振動(dòng)反饋的歧義，同時(shí)除去了振動(dòng)數(shù)據(jù)。

結(jié)果顯示，對(duì)于平板電腦，在20次嘗試中回收了200個(gè)4位pin碼中的61%，即使模型沒(méi)有使用受害者的數(shù)據(jù)進(jìn)行訓(xùn)練；對(duì)于智能手機(jī)，恢復(fù)了9個(gè)大小為7-13個(gè)字母的單詞，在一個(gè)常見(jiàn)的側(cè)通道攻擊基準(zhǔn)中嘗試了50次。

實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)設(shè)置

劍橋研究團(tuán)隊(duì)開(kāi)發(fā)了一個(gè) Android 應(yīng)用程序，參與者分別使用全鍵盤(pán)和9宮格數(shù)字鍵盤(pán)輸入單詞、任意數(shù)字或4位數(shù)字（PIN碼），橫屏或者豎屏都可以。該app應(yīng)用程序通過(guò)內(nèi)置麥克風(fēng)收集音頻。

9宮格數(shù)字鍵盤(pán)的尺寸和形態(tài)是固定的，因此只需要在智能手機(jī)上測(cè)試豎屏狀態(tài)下的數(shù)字輸入即可。而全鍵盤(pán)則需要在手機(jī)和平板上，對(duì)橫屏和豎屏狀態(tài)分別進(jìn)行測(cè)試。

參與測(cè)試的志愿者在三個(gè)不同的地方完成了這項(xiàng)任務(wù)，分別是

公共休息室。背景中有人在聊天，偶爾會(huì)有一臺(tái)咖啡機(jī)做咖啡的吵聲

閱覽室。背景中人們要么在電腦上打字，要么用很輕的聲音說(shuō)話(huà)

圖書(shū)館。都很安靜，但是附近的筆記本電腦持續(xù)發(fā)出咔噠咔噠的聲音

這三個(gè)地方都開(kāi)著窗戶(hù)，因此室外的噪音也摻雜其中。

空氣中聲音的速度取決于溫度，因此數(shù)據(jù)只在白天室內(nèi)收集，溫度在22-25攝氏度之間。實(shí)驗(yàn)設(shè)備關(guān)閉了所有運(yùn)行中的其他app，只打開(kāi)實(shí)驗(yàn)用的app。

實(shí)驗(yàn)使用的設(shè)備N(xiāo)exus 5和Nexus 9，尺寸分別為137.84mm×69.17mm×8.59mm和228.2mm×153.7mm×8mm。兩款設(shè)備都有兩個(gè)麥克風(fēng)，擁有標(biāo)準(zhǔn)的采樣率。Nexus 5的主麥克風(fēng)位于設(shè)備底部，副麥克風(fēng)位于頂部。Nexus 9一個(gè)在底部，另一個(gè)在右側(cè)。兩臺(tái)設(shè)備均基于Android 5.1.1 Lollipop系統(tǒng)，該系統(tǒng)目前市場(chǎng)占有率約20%。

Nexus 5

Nexus 9

由于Android 5.1.1禁止對(duì)PIN輸入使用反饋機(jī)制，所以只對(duì)文本輸入進(jìn)行了測(cè)試。值得注意的是：由于該方式比較新穎，缺乏標(biāo)準(zhǔn)的基準(zhǔn)測(cè)試，讀者可以自行評(píng)估以下兩個(gè)結(jié)論：

對(duì)小型虛擬鍵盤(pán)的攻擊與對(duì)大型物理鍵盤(pán)的攻擊效果差不多

盡管面對(duì)噪音這一強(qiáng)干擾項(xiàng)，該方式仍然能夠獲得同使用其他探測(cè)器類(lèi)似的效果

數(shù)據(jù)收集

實(shí)驗(yàn)共有45名參與者，其中21位女性、24位男性；實(shí)驗(yàn)共獲得30個(gè)小時(shí)的音頻數(shù)據(jù)。實(shí)驗(yàn)分為4個(gè)部分：

第一組測(cè)試者每人隨機(jī)敲擊9宮格數(shù)字鍵盤(pán)10次，每次1個(gè)數(shù)字

第二組測(cè)試者每人敲擊9宮格鍵盤(pán)200次，每次4個(gè)數(shù)字

第三組測(cè)試者隨機(jī)敲擊全鍵盤(pán)上的字母

第四組測(cè)試者敲擊全鍵盤(pán)，輸入NPS聊天語(yǔ)料庫(kù)中的5個(gè)字母的單詞

表1所有字母和單詞輸入實(shí)驗(yàn)的摘要

單個(gè)數(shù)字推斷

第一次嘗試進(jìn)行單一數(shù)字分類(lèi)時(shí)的訓(xùn)練、測(cè)試和與主題無(wú)關(guān)(即LOSO)的準(zhǔn)確性如表2所示。

表2Nexus 5智能手機(jī)的個(gè)位數(shù)分類(lèi)精度

對(duì)于與主題無(wú)關(guān)的情況（LOSO），標(biāo)準(zhǔn)偏差更高。

在最壞的情況下，僅使用底部麥克風(fēng)，預(yù)測(cè)數(shù)字會(huì)比隨機(jī)猜測(cè)略好；但在最好的情況下，幾乎一半的數(shù)字在第一次嘗試時(shí)被正確預(yù)測(cè)。 頂部麥克風(fēng)的結(jié)果仍然較高，在最差情況下為兩倍，在最佳情況下為85％。 使用兩個(gè)麥克風(fēng)，正確預(yù)測(cè)在最壞情況下比隨機(jī)猜測(cè)好3倍；和100％的數(shù)字在最好的情況下。

當(dāng)一個(gè)數(shù)字預(yù)測(cè)不正確時(shí)，分類(lèi)器會(huì)快速糾正它(根據(jù)分類(lèi)器生成的預(yù)測(cè)的置信值對(duì)猜測(cè)進(jìn)行排序)。例如，使用兩個(gè)麥克風(fēng)(如上圖所示)，30%的錯(cuò)誤預(yù)測(cè)在第一次嘗試后被修正，另外20%在第二次嘗試時(shí)被修正。固定的速度然后變得平緩。這意味著，在三次嘗試中，分類(lèi)器正確地預(yù)測(cè)了80%以上的數(shù)字。

4位數(shù)字推斷

4位PIN的預(yù)測(cè)結(jié)果如下圖所示。

使用單個(gè)麥克風(fēng)，10次嘗試后可以恢復(fù)54％的PIN。通和先前工作進(jìn)行了比較發(fā)現(xiàn)，在很多情況下往往表現(xiàn)的更好，在其他方面也不輸給先前工作。例如，使用兩個(gè)麥克風(fēng)，只需20次嘗試就可以恢復(fù)91/150個(gè)PIN碼，并不需要知道PIN碼的分布情況，也不需要知道后續(xù)點(diǎn)擊之間的時(shí)間間隔。

字母和單詞推斷

全鍵盤(pán)的預(yù)測(cè)結(jié)果，如表3所示。

表3單字符分類(lèi)精度為26類(lèi)

如果同時(shí)使用一個(gè)麥克風(fēng)進(jìn)行LOSO和測(cè)試，要比隨機(jī)猜測(cè)高出三倍。頂部麥克風(fēng)捕獲的聲音，比來(lái)底部麥克風(fēng)產(chǎn)生更好的效果。

實(shí)驗(yàn)還發(fā)現(xiàn)，在手機(jī)上豎屏要比橫屏效果更好；而平板上則沒(méi)有太大區(qū)別。

實(shí)驗(yàn)結(jié)果表明，依靠TrustZone等隔離機(jī)制來(lái)保護(hù)用戶(hù)輸入并不總是足夠的。

移動(dòng)設(shè)備可能需要更豐富的功能模型，更加用戶(hù)友好的傳感器使用通知系統(tǒng)以及對(duì)底層硬件泄漏的信息的更全面評(píng)估。