最新研究發(fā)現(xiàn)，只要一張打印出來(lái)的貼紙，就能“欺騙”AI系統(tǒng)，讓最先進(jìn)的檢測(cè)系統(tǒng)也無(wú)法看到眼前活生生的人。該研究也可能用于現(xiàn)實(shí)的視頻監(jiān)控系統(tǒng)，引起熱議。

一張貼紙讓你在AI面前”隱身“。

來(lái)自比利時(shí)魯汶大學(xué) (KU Leuven) 幾位研究人員最近的研究發(fā)現(xiàn)，借助一張簡(jiǎn)單打印出來(lái)的圖案，就可以完美避開(kāi) AI 視頻監(jiān)控系統(tǒng)。

研究人員表示，他們?cè)O(shè)計(jì)的圖像可以將整個(gè)人隱藏起來(lái)，不會(huì)讓計(jì)算機(jī)視覺(jué)系統(tǒng)發(fā)現(xiàn)。這項(xiàng)研究在YOLO (v2) 的開(kāi)源對(duì)象識(shí)別系統(tǒng)上進(jìn)行了演示。

如上圖所示，AI 系統(tǒng)成功檢測(cè)到左邊的人，而右邊的人被忽略了。右邊的人身上掛著一塊彩色紙板，在論文中被稱(chēng)為“對(duì)抗性補(bǔ)丁”(adversarial patch)，正是這塊補(bǔ)丁 “欺騙” 了 AI 系統(tǒng)，讓系統(tǒng)無(wú)法發(fā)現(xiàn)畫(huà)面中還有一個(gè)人。

這種欺騙利用了一種稱(chēng)為對(duì)抗性機(jī)器學(xué)習(xí)的方法。大多數(shù)計(jì)算機(jī)視覺(jué)系統(tǒng)依賴(lài)訓(xùn)練 (卷積) 神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別不同的東西，方法是給它提供大量樣本，調(diào)整它的參數(shù)，直到它能正確地分類(lèi)對(duì)象。通過(guò)將樣本輸入一個(gè)訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)并監(jiān)控輸出，可以推斷出哪些類(lèi)型的圖像讓系統(tǒng)感到困惑。

他們發(fā)表了題為Fooling automated surveillance cameras: adversarial patches to attack person detection的論文，并公布了用于生成圖像補(bǔ)丁的源代碼。

地址：

https://gitlab.com/EAVISE/adversarial-yolo

生成的補(bǔ)丁 (patch)能夠成功地將人在檢測(cè)器視線(xiàn)中隱藏起來(lái)。例如，這種攻擊可能被惡意地用來(lái)繞過(guò)監(jiān)視系統(tǒng)，入侵者只要將一小塊硬紙板放在身體前面，面向監(jiān)視攝像頭，就能不被監(jiān)視系統(tǒng)發(fā)現(xiàn)。

研究結(jié)果顯示，這個(gè)系統(tǒng)能夠顯著降低人體檢測(cè)器的精度。該方法在真實(shí)場(chǎng)景中也能很好地發(fā)揮作用。

如下面的 demo 所示，使用 YOLOv2 檢測(cè)拍攝的錄像，畫(huà)面中人、椅子、桌子等都被準(zhǔn)確地檢測(cè)出來(lái)，但只要拿上這塊 “補(bǔ)丁”，系統(tǒng)就無(wú)法檢測(cè)到人。

生成“神奇補(bǔ)丁”，秒變隱形人

他們是如何生成這塊神奇的 “對(duì)抗性補(bǔ)丁” 的呢？

優(yōu)化目標(biāo)包括以下三個(gè)部分：

Lnps：非可打印性得分，這個(gè)因子表示貼紙中的顏色在多大程度上可由普通打印機(jī)打印出來(lái)。有下式：

其中 ppatch 是貼紙中的一個(gè)像素，而 cprint 是一組可打印顏色 C 中的顏色。這種損失有利于確保圖像中的顏色與可打印顏色集中的顏色密切相關(guān)。

Ltv：圖像總變化。該損失函數(shù)損失確保優(yōu)化器支持平滑顏色過(guò)渡的圖像并防止圖像噪聲?？梢杂?P 計(jì)算 Ltv：

如果相鄰像素相似則得分較低，如果相鄰像素不同則得分較高。

Lobj：圖像中的最大對(duì)象分?jǐn)?shù)。補(bǔ)丁的目標(biāo)是隱藏圖像中的人。所以訓(xùn)練的目標(biāo)是對(duì)探測(cè)器輸出的目標(biāo)或類(lèi)別分?jǐn)?shù)實(shí)現(xiàn)最小化。將這三個(gè)部分相加得到總損失函數(shù)：

采用由經(jīng)驗(yàn)確定的因子 α 和 β 對(duì)三個(gè)部分進(jìn)行按比例縮放，然后求和，并使用 Adam 算法進(jìn)行優(yōu)化。優(yōu)化器的目標(biāo)是總損失 L 的最小化。在優(yōu)化過(guò)程中凍結(jié)網(wǎng)絡(luò)中的所有權(quán)重，并僅更改 patch 中的值。在過(guò)程開(kāi)始時(shí)，以隨機(jī)值對(duì) patch 進(jìn)行初始化。

圖 3 所示為目標(biāo)損失的計(jì)算，遵循相同的程序來(lái)計(jì)算類(lèi)概率

YOLOv2 對(duì)象檢測(cè)器輸出一個(gè)單元網(wǎng)格，每個(gè)單元格包含一系列錨點(diǎn)（默認(rèn)值為五個(gè)）。每個(gè)錨點(diǎn)包含邊界框的位置、對(duì)象概率和類(lèi)別得分。為了讓探測(cè)器忽略圖像中的人，研究人員嘗試了三種不同的方法：最小化類(lèi)人的分類(lèi)概率（圖 4d），最小化對(duì)象得分（圖 4c），或兩者的組合（圖 4b 和 4a）。

研究人員分別嘗試了每一種方法。最小化類(lèi)分?jǐn)?shù)傾向于將類(lèi)中的人員移至不同的類(lèi)。在使用 MS COCO 數(shù)據(jù)集訓(xùn)練的 YOLO 探測(cè)器的實(shí)驗(yàn)中，研究人員發(fā)現(xiàn)生成的貼紙會(huì)作為 COCO 數(shù)據(jù)集中的另一個(gè)類(lèi)被檢測(cè)到。圖 4a 和 4b 分別為采用類(lèi)和對(duì)象概率的實(shí)例。

研究人員提出的最小化對(duì)象性得分的另一種方法則不存在這個(gè)問(wèn)題。雖然在優(yōu)化過(guò)程中僅僅將其其置于 “人” 這一類(lèi)別之上，但是生成的貼紙對(duì)于某個(gè)類(lèi)的特定性低于其他方法，如圖 4c 所示。

研究團(tuán)隊(duì)對(duì)各種類(lèi)型的 patch 進(jìn)行了實(shí)驗(yàn)，比如隨機(jī)生成的圖像噪聲或者模糊化的圖像，最后，他們發(fā)現(xiàn)經(jīng)過(guò)多次圖像處理的隨機(jī)物體的照片的效果最好。

例如，他們提出的圖像補(bǔ)丁 (圖 4c) 是通過(guò)隨機(jī)選取一幅圖像來(lái)創(chuàng)建的，圖像經(jīng)過(guò)了旋轉(zhuǎn)，隨機(jī)放大和縮小，隨機(jī)添加隨機(jī)噪聲，隨機(jī)修改正確率和對(duì)比度。

實(shí)驗(yàn)結(jié)果：顯著降低警報(bào)，安全攝像頭還安全嗎？

通過(guò)實(shí)驗(yàn)結(jié)果評(píng)估 patch 的有效性。過(guò)程與訓(xùn)練過(guò)程相同（包括隨機(jī)變換），將結(jié)果應(yīng)用于 Inria 測(cè)試集上來(lái)進(jìn)行評(píng)估。

換句話(huà)說(shuō)，研究人員提出一個(gè)問(wèn)題：監(jiān)控系統(tǒng)產(chǎn)生的警報(bào)，有多少可以通過(guò)使用貼紙來(lái)規(guī)避？

上表所示為使用不同貼紙的警報(bào)觸發(fā)分析結(jié)果?？梢郧宄乜吹?，貼紙（OBJ-CLS，OBJ 和 CLS）顯著降低了警報(bào)數(shù)量。

上圖所示為在 Inria 測(cè)試集中使用不同貼紙的效果對(duì)比示例。首先將 YOLOv2 檢測(cè)器用于沒(méi)有貼 patch 的圖像中（第 1 行），然后是使用隨機(jī)貼紙（第 2 行）以及生成的最佳貼紙的效果（第 3 行）。在大多數(shù)情況下，貼紙能夠成功地將人員隱藏在探測(cè)器中。如果效果不好，則可能是貼紙沒(méi)有和人對(duì)齊。因?yàn)樵趦?yōu)化期間，貼紙的中心對(duì)齊是僅僅由圖像邊框確定的。

上圖測(cè)試了印刷版貼紙?jiān)诂F(xiàn)實(shí)世界中的效果。一般情況下，效果還是不錯(cuò)的。由于上文所述的圖像訓(xùn)練對(duì)齊的原因，將貼紙保持在正確位置似乎是非常重要的。

結(jié)果生成的 “補(bǔ)丁”，可以應(yīng)用在衣服、包或其他物體上，佩戴這種 “補(bǔ)丁” 的人將成為隱形人—— 使用 AI 檢測(cè)算法無(wú)法檢測(cè)到。

這種方法也可以用來(lái)隱藏某些對(duì)象。例如，如果監(jiān)視系統(tǒng)被設(shè)計(jì)為檢測(cè)物體而不是人，那么 “補(bǔ)丁” 也可以將汽車(chē)之類(lèi)的物體隱藏起來(lái)。

可以想象，這種伎倆可以讓騙子躲避安全攝像頭?！拔覀兊墓ぷ髯C明，使用對(duì)抗性補(bǔ)丁繞過(guò)攝像機(jī)監(jiān)控系統(tǒng)是可能的，” 作者之一 Wiebe Van Ranst。

Van Ranst 說(shuō)，將這種方法應(yīng)用于現(xiàn)成的視頻監(jiān)控系統(tǒng)應(yīng)該不會(huì)太難?！澳壳拔覀冞€需要知道使用的是哪種檢測(cè)器。我們未來(lái)想做的是生成一個(gè)補(bǔ)丁，可以同時(shí)在多個(gè)檢測(cè)器上工作，” 他說(shuō)。“如果這種方法有效，那么這個(gè)補(bǔ)丁也很有可能對(duì)監(jiān)控系統(tǒng)中使用的檢測(cè)器有效。”

當(dāng)然，這個(gè) “補(bǔ)丁” 目前并非萬(wàn)無(wú)一失，如果它在畫(huà)面中不是清晰可見(jiàn)的，或者角度發(fā)生了變化，AI 系統(tǒng)都能迅速 “發(fā)現(xiàn)” 畫(huà)面中的人類(lèi)。

不過(guò)，這項(xiàng)研究是學(xué)術(shù)界首次嘗試使用 2D 打印技術(shù)將人類(lèi)從檢測(cè)系統(tǒng)中隱藏起來(lái)。之前的工作主要是使用帶有特殊框架的眼鏡來(lái)欺騙人臉識(shí)別軟件，或使用對(duì)抗樣本欺騙圖像分類(lèi)系統(tǒng)，例如用一張貼紙就能令 AI 將香蕉誤認(rèn)為是烤面包機(jī)，用幾張貼紙就能將自動(dòng)駕駛系統(tǒng) “騙” 進(jìn)反車(chē)道。