自主駕駛中對(duì)抗式機(jī)器學(xué)習(xí)對(duì)完全視覺(jué)感知管道的攻擊

對(duì)抗機(jī)器學(xué)習(xí)的最新研究開(kāi)始關(guān)注自主駕駛中的視覺(jué)感知，并研究了目標(biāo)檢測(cè)模型的對(duì)抗示例。然而在視覺(jué)感知管道中，在被稱為多目標(biāo)跟蹤的過(guò)程中，檢測(cè)到的目標(biāo)必須被跟蹤，以建立周圍障礙物的移動(dòng)軌跡。由于多目標(biāo)跟蹤被設(shè)計(jì)為對(duì)目標(biāo)檢測(cè)中的錯(cuò)誤具有魯棒性，它對(duì)現(xiàn)有的盲目針對(duì)目標(biāo)檢測(cè)的攻擊技術(shù)提出了挑戰(zhàn):我們發(fā)現(xiàn)攻擊方需要超過(guò)98%的成功率來(lái)實(shí)際影響跟蹤結(jié)果，這是任何現(xiàn)有的攻擊技術(shù)都無(wú)法達(dá)到的。本文首次研究了自主駕駛中對(duì)抗式機(jī)器學(xué)習(xí)對(duì)完全視覺(jué)感知管道的攻擊，并發(fā)現(xiàn)了一種新的攻擊技術(shù)——軌跡劫持，該技術(shù)可以有效地使用目標(biāo)檢測(cè)的對(duì)抗示例欺騙多目標(biāo)跟蹤。使用我們的技術(shù)，僅在一個(gè)幀上成功的對(duì)抗示例就可以將現(xiàn)有物體移入或移出自駕車輛的行駛區(qū)域，從而造成潛在的安全危險(xiǎn)。我們使用Berkeley Deep Drive數(shù)據(jù)集進(jìn)行評(píng)估，發(fā)現(xiàn)平均而言，當(dāng)3幀受到攻擊時(shí)，我們的攻擊可以有接近100%的成功率，而盲目針對(duì)目標(biāo)檢測(cè)的攻擊只有25%的成功率。

01

背景

自從Eykholt等人發(fā)現(xiàn)第一個(gè)針對(duì)交通標(biāo)志圖像分類的對(duì)抗示例以來(lái)，對(duì)抗式機(jī)器學(xué)習(xí)中的若干研究工作開(kāi)始關(guān)注自動(dòng)駕駛中的視覺(jué)感知，并研究物體檢測(cè)模型上的對(duì)抗示例。例如，Eykholt等人和鐘等人針對(duì)YOLO物體探測(cè)器研究了停車標(biāo)志或前車背面的貼紙形式的對(duì)抗示例, 并進(jìn)行室內(nèi)實(shí)驗(yàn)，以證明攻擊在現(xiàn)實(shí)世界中的可行性。在這些工作的基礎(chǔ)上，最近趙等人利用圖像變換技術(shù)來(lái)提高戶外環(huán)境中這種對(duì)抗式貼紙攻擊的魯棒性，并且能夠在真實(shí)道路上以30 km/h的恒定速度行駛的汽車上實(shí)現(xiàn)72%的攻擊成功率。雖然之前研究的結(jié)果令人擔(dān)憂，但在自動(dòng)駕駛或一般的機(jī)器人系統(tǒng)中，目標(biāo)檢測(cè)實(shí)際上只是視覺(jué)感知管道的前半部分——在后半部分，在一個(gè)稱為多目標(biāo)跟蹤的過(guò)程中，必須跟蹤檢測(cè)到的目標(biāo)，以建立周圍障礙物的移動(dòng)軌跡。這對(duì)于隨后的駕駛決策過(guò)程是必需的，該過(guò)程需要構(gòu)建的軌跡來(lái)預(yù)測(cè)這些障礙物的未來(lái)移動(dòng)軌跡，然后相應(yīng)地規(guī)劃駕駛路徑以避免與它們碰撞。為了確保目標(biāo)檢測(cè)中的高跟蹤精度和對(duì)錯(cuò)誤的魯棒性，在多目標(biāo)跟蹤中，只有在多個(gè)幀中具有足夠一致性和穩(wěn)定性的檢測(cè)結(jié)果可以包括在跟蹤結(jié)果中，并且實(shí)際上影響駕駛決策。因此，自動(dòng)駕駛視覺(jué)感知中的多目標(biāo)跟蹤對(duì)現(xiàn)有的盲目針對(duì)目標(biāo)檢測(cè)的攻擊技術(shù)提出了新的挑戰(zhàn)。例如，正如我們稍后在第3節(jié)中的分析所示，對(duì)目標(biāo)檢測(cè)的攻擊需要連續(xù)成功至少60幀才能欺騙典型的多目標(biāo)跟蹤過(guò)程，這需要至少98%的攻擊成功率。據(jù)我們所知，沒(méi)有現(xiàn)有的針對(duì)目標(biāo)檢測(cè)的攻擊能夠達(dá)到如此高的成功率。在本文中，我們首次研究了自動(dòng)駕駛中考慮完全視覺(jué)感知管道的對(duì)抗性機(jī)器學(xué)習(xí)攻擊，即目標(biāo)檢測(cè)和目標(biāo)跟蹤，并發(fā)現(xiàn)了一種新的攻擊技術(shù)，稱為跟蹤器劫持，它可以用在目標(biāo)檢測(cè)上的對(duì)抗示例有效地欺騙多目標(biāo)跟蹤過(guò)程。我們的關(guān)鍵見(jiàn)解是，雖然很難直接為假對(duì)象創(chuàng)建軌跡或刪除現(xiàn)有對(duì)象的軌跡，但我們可以仔細(xì)設(shè)計(jì)對(duì)抗示例來(lái)攻擊多目標(biāo)跟蹤中的跟蹤誤差減少過(guò)程，以使現(xiàn)有對(duì)象的跟蹤結(jié)果偏離攻擊者希望的移動(dòng)方向。這種過(guò)程旨在提高跟蹤結(jié)果的魯棒性和準(zhǔn)確性，但諷刺的是，我們發(fā)現(xiàn)攻擊者可以利用它來(lái)大大改變跟蹤結(jié)果。利用這種攻擊技術(shù)，少至一幀的對(duì)抗示例足以將現(xiàn)有物體移入或移出自主車輛的行駛區(qū)域，從而導(dǎo)致潛在的安全危險(xiǎn)。我們從Berkeley Deep Drive數(shù)據(jù)集隨機(jī)抽樣的100個(gè)視頻片段中選擇20個(gè)進(jìn)行評(píng)估。在推薦的多目標(biāo)檢測(cè)配置和正常測(cè)量噪聲水平下，我們發(fā)現(xiàn)我們的攻擊可以在少至一幀和平均2到3個(gè)連續(xù)幀的對(duì)抗示例中成功。我們重復(fù)并比較了之前盲目針對(duì)目標(biāo)檢測(cè)的攻擊，發(fā)現(xiàn)當(dāng)攻擊連續(xù)3幀時(shí)，我們的攻擊成功率接近100%，而盲目針對(duì)對(duì)象檢測(cè)攻擊的成功率只有25%。

圖表 1自動(dòng)駕駛中的完整視覺(jué)感知管道，即目標(biāo)檢測(cè)和多目標(biāo)跟蹤

本文貢獻(xiàn)

考慮到自動(dòng)駕駛中完整的視覺(jué)感知管道，即目標(biāo)檢測(cè)和運(yùn)動(dòng)檢測(cè)，我們首次研究了對(duì)抗性機(jī)器學(xué)習(xí)攻擊。我們發(fā)現(xiàn)，在不考慮多目標(biāo)跟蹤的情況下，盲目針對(duì)目標(biāo)檢測(cè)的攻擊至少需要98%的成功率才能真正影響自動(dòng)駕駛中的完整視覺(jué)感知管道，這是任何現(xiàn)有攻擊技術(shù)都無(wú)法達(dá)到的?！の覀儼l(fā)現(xiàn)了一種新的攻擊技術(shù)——軌跡劫持，它可以有效地利用物體檢測(cè)中的對(duì)抗示例來(lái)欺騙移動(dòng)終端。這種技術(shù)利用了多目標(biāo)跟蹤中的跟蹤誤差減少過(guò)程，并且可以使僅在一幀內(nèi)成功的對(duì)抗示例將現(xiàn)有物體移入或移出自主車輛的行駛距離，從而導(dǎo)致潛在的安全危險(xiǎn)。·使用Berkeley Deep Drive數(shù)據(jù)集進(jìn)行的攻擊評(píng)估表明，我們的攻擊可以在少至一幀、平均只有2到3個(gè)連續(xù)幀的情況下獲得成功，當(dāng)3個(gè)連續(xù)幀受到攻擊時(shí)，我們的攻擊成功率接近100%，而盲目針對(duì)目標(biāo)檢測(cè)的攻擊成功率僅為25%。

多目標(biāo)跟蹤

多目標(biāo)跟蹤的目的是識(shí)別視頻幀序列中的物體及其運(yùn)動(dòng)軌跡。隨著物體檢測(cè)的進(jìn)步，通過(guò)檢測(cè)進(jìn)行跟蹤已經(jīng)成為多目標(biāo)跟蹤的范例，其中檢測(cè)步驟識(shí)別圖像中的物體，跟蹤步驟將物體鏈接到軌跡(即軌跡)。如圖1所示，在時(shí)間t檢測(cè)到的每個(gè)物體將與動(dòng)態(tài)模型(例如，位置、速度)相關(guān)聯(lián)，動(dòng)態(tài)模型表示物體的過(guò)去軌跡(track| t1)。，每一條軌跡都用卡爾曼濾波器來(lái)維護(hù)狀態(tài)模型，其以預(yù)測(cè)-更新循環(huán)運(yùn)行:預(yù)測(cè)步驟根據(jù)運(yùn)動(dòng)模型估計(jì)當(dāng)前對(duì)象狀態(tài)，更新步驟采用檢測(cè)結(jié)果detc|t 作為測(cè)量值來(lái)更新其狀態(tài)估計(jì)結(jié)果track|t。檢測(cè)到的物體與現(xiàn)有跟蹤器之間的關(guān)聯(lián)被公式化為二分匹配問(wèn)題, 基于軌跡和被檢測(cè)對(duì)象之間的成對(duì)相似性損失，最常用的相似性度量是基于空間的損失，它測(cè)量邊界框或bbox之間的重疊量。為了減少這種關(guān)聯(lián)中的誤差，在卡爾曼濾波預(yù)測(cè)中需要精確的速度估計(jì)。由于攝像機(jī)幀的離散性，卡爾曼濾波器使用速度模型來(lái)估計(jì)下一幀中被跟蹤對(duì)象的位置，以補(bǔ)償幀間對(duì)象的運(yùn)動(dòng)。然而，如后面第3節(jié)中所述，這種錯(cuò)誤減少過(guò)程意外地使得進(jìn)行跟蹤者劫持成為可能。多目標(biāo)跟蹤通過(guò)兩個(gè)閾值管理軌跡的創(chuàng)建和刪除。具體來(lái)說(shuō)，只有當(dāng)對(duì)象被持續(xù)檢測(cè)到一定數(shù)量的幀時(shí)，才會(huì)創(chuàng)建一個(gè)新的軌跡，該閾值將被稱為命中數(shù)，或用H指代，這有助于過(guò)濾掉物體檢測(cè)器偶爾產(chǎn)生的誤報(bào)。另一方面，如果在R幀的持續(xù)時(shí)間（或者稱為保留時(shí)間）內(nèi)沒(méi)有對(duì)象與軌跡相關(guān)聯(lián)，軌跡將被刪除。它可以防止軌跡由于物體檢測(cè)器罕見(jiàn)的假陰性而被意外刪除。R和H的配置通常既取決于檢測(cè)模型的精度，也取決于幀速率(fps)。先前的研究提出了R = 2幀/秒和H = 0.2幀/秒的配置，對(duì)于普通的30幀/秒視覺(jué)感知系統(tǒng)給出了R = 60幀和H = 6幀。第3節(jié)的評(píng)估將表明，一個(gè)盲目地以目標(biāo)檢測(cè)為目標(biāo)的攻擊需要不斷地欺騙至少60幀(R)來(lái)擦除一個(gè)對(duì)象，而我們提出的軌跡劫持攻擊可以通過(guò)少到一幀，平均只有2~3幀的攻擊，來(lái)偽造持續(xù)R幀的對(duì)象，或在跟蹤結(jié)果中抹除H幀的目標(biāo)對(duì)象。

02

軌道劫持攻擊

多目標(biāo)跟蹤可以選擇包括一個(gè)或多個(gè)相似性度量來(lái)匹配跨幀的對(duì)象。常見(jiàn)的度量包括邊界框重疊、對(duì)象外觀、視覺(jué)表示和其他統(tǒng)計(jì)度量。作為多目標(biāo)跟蹤對(duì)抗威脅的首次研究，我們選擇了基于并集的交集(IoU)的匈牙利匹配作為我們的目標(biāo)算法，因?yàn)樗亲顝V泛采用和標(biāo)準(zhǔn)化的相似性度量，不僅是最近的研究，兩個(gè)真實(shí)世界的自動(dòng)駕駛系統(tǒng)，百度阿波羅和Autoware也采用了這一度量 ，這確保了我們工作的代表性和實(shí)際意義。

圖表 2描述軌跡劫持攻擊流程(a)，以及兩種不同的攻擊場(chǎng)景:對(duì)象移入(b)和移出(c)，其中軌跡劫持可能導(dǎo)致嚴(yán)重的安全后果，包括急停和追尾。

圖2a展示了本文發(fā)現(xiàn)的軌跡劫持攻擊，其中用于對(duì)象檢測(cè)的對(duì)抗示例(例如，前車上的對(duì)抗補(bǔ)丁)可以欺騙檢測(cè)結(jié)果，只用一幀就極大地偏離多目標(biāo)跟蹤中目標(biāo)對(duì)象(例如，前車)的軌跡。如圖所示，目標(biāo)汽車最初在t0時(shí)被跟蹤到以預(yù)測(cè)的速度向左。攻擊開(kāi)始于時(shí)間t1，在汽車后部貼上對(duì)抗的補(bǔ)丁。該補(bǔ)丁是精心生成的，以兩個(gè)對(duì)立的目標(biāo)欺騙目標(biāo)檢測(cè)器:(1)從檢測(cè)結(jié)果中刪除目標(biāo)對(duì)象的邊界框；(2)制作一個(gè)類似形狀的邊界框，但稍微向攻擊者指定的方向移動(dòng)。所構(gòu)造的邊界框(t1處檢測(cè)結(jié)果中的紅色邊界框)將與跟蹤結(jié)果中的目標(biāo)對(duì)象的原始軌跡相關(guān)聯(lián)，我們稱之為軌跡劫持，并且因此將向軌跡給出朝向攻擊者期望的方向的假速度。圖2a中所示的軌跡劫持僅持續(xù)一幀，但其對(duì)抗效果可能持續(xù)數(shù)十幀，這取決于MOT參數(shù)R和H(在第2節(jié)中介紹)。例如，在攻擊后的時(shí)間t2，所有的檢測(cè)邊界框都恢復(fù)正常，但是，兩個(gè)不利影響持續(xù)存在: (1)目標(biāo)對(duì)象雖然在檢測(cè)結(jié)果中被恢復(fù)，但是將不會(huì)被跟蹤，直到達(dá)到命中計(jì)數(shù)(H)，并且在此之前，該對(duì)象在跟蹤結(jié)果中仍然丟失；(2)受攻擊者誘導(dǎo)速度劫持的軌跡將不會(huì)被刪除，直到一個(gè)保留時(shí)間(R)過(guò)去。然而，值得注意的是，我們的攻擊在實(shí)踐中并不總是成功的，因?yàn)槿绻壽E在短時(shí)間的攻擊期間沒(méi)有偏離對(duì)象的真實(shí)位置足夠遠(yuǎn)，恢復(fù)的對(duì)象可能仍然與其原始軌跡相關(guān)聯(lián)。我們的實(shí)驗(yàn)結(jié)果表明，當(dāng)使用對(duì)抗示例成功攻擊3個(gè)連續(xù)幀時(shí)，我們的攻擊通常達(dá)到接近100%的成功率。這種持續(xù)的不良效應(yīng)可能會(huì)在自動(dòng)駕駛場(chǎng)景中造成嚴(yán)重的安全后果。我們強(qiáng)調(diào)兩種可能導(dǎo)致緊急停車甚至追尾事故的攻擊場(chǎng)景:

攻擊場(chǎng)景1: 目標(biāo)物體移入

如圖2b所示，可以在路邊物體(例如停放的車輛)上放置對(duì)抗貼片，以欺騙經(jīng)過(guò)的自駕車輛的視覺(jué)感知。在檢測(cè)結(jié)果中，生成對(duì)抗補(bǔ)丁以導(dǎo)致目標(biāo)邊緣框向道路中心平移，并且被劫持的軌跡將在受害車輛的感知中表現(xiàn)為在前方加塞的移動(dòng)車輛。如果按照朱等人的建議將R配置為2 fps，該跟蹤器將持續(xù)2秒鐘，并且這種情況下的軌跡劫持可能導(dǎo)致緊急停止和潛在的追尾碰撞。

攻擊場(chǎng)景2:目標(biāo)物體移出

同樣，軌跡劫持攻擊也可以使受害自駕車輛前方的物體偏離道路，導(dǎo)致撞車，如圖2c所示。如果H使用0.2 fps的推薦配置，則應(yīng)用于前車后部的對(duì)抗貼片可能會(huì)欺騙后面的自動(dòng)車輛的多目標(biāo)跟蹤器相信物體正在偏離其路線，并且前車將在200ms的持續(xù)時(shí)間內(nèi)從跟蹤結(jié)果中消失，這可能會(huì)導(dǎo)致受害者的自動(dòng)駕駛汽車撞上前車。

我們的攻擊目標(biāo)是一階卡爾曼濾波器，它預(yù)測(cè)一個(gè)狀態(tài)向量，包含檢測(cè)到的對(duì)象與時(shí)間相關(guān)的位置和速度。對(duì)于數(shù)據(jù)關(guān)聯(lián)，我們采用最廣泛使用的并集的交集(IoU)作為相似性度量，通過(guò)匈牙利匹配算法計(jì)算邊緣框之間的IoU，以解決將連續(xù)幀中檢測(cè)到的邊緣框與現(xiàn)有軌跡關(guān)聯(lián)的二分匹配問(wèn)題。多目標(biāo)跟蹤中的這種算法組合在以前的研究和現(xiàn)實(shí)世界中是最常見(jiàn)的?，F(xiàn)在描述我們的方法，即生成一個(gè)敵對(duì)補(bǔ)丁，操縱檢測(cè)結(jié)果劫持軌跡。詳見(jiàn)Alg.1，給定一個(gè)目標(biāo)視頻圖像序列，攻擊迭代地找到成功劫持所需的最少干擾幀，并為這些幀生成對(duì)抗補(bǔ)丁。在每次攻擊迭代中，對(duì)原始視頻剪輯中的一個(gè)圖像幀進(jìn)行處理，給定目標(biāo)對(duì)象的索引K，該算法通過(guò)求解等式1找到放置對(duì)抗邊緣框的最佳位置pos，以劫持目標(biāo)對(duì)象的軌跡。然后，攻擊使用對(duì)抗補(bǔ)丁構(gòu)建針對(duì)目標(biāo)檢測(cè)模型的對(duì)抗幀，使用等式2作為損失函數(shù)，擦除目標(biāo)對(duì)象的原始邊緣框，并在給定位置構(gòu)建對(duì)抗邊緣框。軌跡隨后被偏離其原始方向的對(duì)抗幀更新，如果下一幀中的目標(biāo)對(duì)象沒(méi)有通過(guò)多目標(biāo)跟蹤算法與其原始跟蹤器相關(guān)聯(lián)，則攻擊成功；否則，對(duì)下一幀重復(fù)該過(guò)程。我們下面討論這個(gè)算法中的兩個(gè)關(guān)鍵步驟。

圖表 3現(xiàn)有的目標(biāo)檢測(cè)攻擊和我們的軌跡劫持攻擊的比較。簡(jiǎn)單擦除bbox的攻擊對(duì)跟蹤輸出沒(méi)有影響(b)，而利用精心選擇的位置偽造bbox的軌跡劫持攻擊成功地將軌跡重定向到攻擊者指定的方向(c)。

尋找對(duì)抗包圍盒的最佳位置

為了偏離目標(biāo)對(duì)象K的跟蹤器，除了移除其原始邊界框detc|t[K] 之外，攻擊還需要制造一個(gè)向指定方向移動(dòng)δ的對(duì)抗框。這就變成了優(yōu)化問(wèn)題(Eq.1)，即找到使檢測(cè)框和現(xiàn)有跟蹤器之間的匈牙利匹配(M())的損失最大化的平移向量δ，使得邊界框仍然與其原始跟蹤器相關(guān)聯(lián)(M ≤ λ)，但是偏移足夠大，以給軌跡提供對(duì)抗速度。請(qǐng)注意，我們還將移動(dòng)的邊界框限制為與補(bǔ)丁重疊，以方便對(duì)抗示例的生成，因?yàn)閿硨?duì)擾動(dòng)通常更容易影響其附近的預(yù)測(cè)結(jié)果，尤其是在物理環(huán)境中。

生成對(duì)抗目標(biāo)檢測(cè)的補(bǔ)丁

類似于現(xiàn)有的針對(duì)目標(biāo)檢測(cè)模型的對(duì)抗性攻擊，我們還將對(duì)抗性補(bǔ)丁生成公式化為等式2中所示的優(yōu)化問(wèn)題?，F(xiàn)有的不考慮多目標(biāo)跟蹤的攻擊直接將目標(biāo)類(如停止標(biāo)志) 的概率降到最低從而在檢測(cè)結(jié)果中抹去對(duì)象。然而，如圖3b所示，這種對(duì)抗示例在欺騙多目標(biāo)跟蹤方面非常無(wú)效，因?yàn)榧词乖跈z測(cè)邊界框被擦除之后，跟蹤器仍將跟蹤R幀。相反，我們的跟蹤器劫持攻擊的損失函數(shù)包含兩個(gè)優(yōu)化目標(biāo):(1)最小化目標(biāo)類概率以擦除目標(biāo)對(duì)象的邊緣框；(2)在攻擊者想要的位置以特定的形狀偽造對(duì)抗邊緣框以劫持軌跡。

03

攻擊評(píng)估

評(píng)估指標(biāo)

我們將成功的攻擊定義為當(dāng)攻擊停止時(shí)，檢測(cè)到的目標(biāo)對(duì)象的邊界框不再與任何現(xiàn)有的跟蹤器相關(guān)聯(lián)。我們使用物體檢測(cè)的對(duì)抗示例成功所需的最小幀數(shù)來(lái)衡量我們的軌跡劫持攻擊的有效性。攻擊效果高度依賴于原軌跡的方向向量與敵手目標(biāo)的差異。例如，如果選擇對(duì)抗方向與其原始方向相反，攻擊者可以在只有一幀的情況下對(duì)跟蹤器進(jìn)行大的移動(dòng)，而如果敵手方向恰好與目標(biāo)的原始方向相同，則很難使跟蹤器偏離其已建立的軌跡。為了控制變量，我們?cè)谇懊娑x的兩種攻擊場(chǎng)景中測(cè)量攻擊所需的幀數(shù):即目標(biāo)對(duì)象移入和移出。具體來(lái)說(shuō)，在所有的移入場(chǎng)景中，我們選擇沿著道路停放的車輛作為目標(biāo)，攻擊目標(biāo)是將軌跡移動(dòng)到中心，而在所有的移出場(chǎng)景中，我們選擇向前移動(dòng)的車輛，攻擊目標(biāo)是將目標(biāo)軌跡移離道路。

數(shù)據(jù)集

我們從Berkeley Deep Drive數(shù)據(jù)集中隨機(jī)采樣了100個(gè)視頻片段，然后手動(dòng)選擇10個(gè)適合對(duì)象移入場(chǎng)景，另外10個(gè)適合對(duì)象移出場(chǎng)景。對(duì)于每個(gè)片段，我們手動(dòng)標(biāo)記一個(gè)目標(biāo)車輛，并將補(bǔ)丁區(qū)域標(biāo)注為其后面的一個(gè)小區(qū)域，如圖3c所示。所有視頻每秒30幀。

實(shí)施細(xì)節(jié)

我們使用Python實(shí)現(xiàn)了我們的目標(biāo)視覺(jué)感知管道，使用YOLOv3作為目標(biāo)檢測(cè)模型，因?yàn)樗趯?shí)時(shí)系統(tǒng)中非常受歡迎。對(duì)于多目標(biāo)跟蹤實(shí)現(xiàn)，我們?cè)趕klearn包中使用了稱為線性賦值的匈牙利匹配實(shí)現(xiàn)來(lái)進(jìn)行數(shù)據(jù)關(guān)聯(lián)，并在OpenCV中使用的基礎(chǔ)上提供了卡爾曼濾波器的參考實(shí)現(xiàn)。攻擊的有效性取決于卡爾曼濾波器的配置參數(shù)，稱為測(cè)量噪聲協(xié)方差(cov)。cov是對(duì)系統(tǒng)中有多少噪聲的估計(jì)，當(dāng)更新軌跡時(shí)，較低的cov值將使卡爾曼濾波器對(duì)在時(shí)間t的檢測(cè)結(jié)果更有信心，而較高的cov值將使卡爾曼濾波器在時(shí)間t 更信任它先前在時(shí)間t- 1的預(yù)測(cè)。這種測(cè)量噪聲協(xié)方差通?；趯?shí)際中檢測(cè)模型的性能來(lái)調(diào)整。如圖4a所示，我們?cè)趶姆浅Ｐ?103)到非常大(10)的不同cov配置下評(píng)估我們的方法，而在實(shí)踐中cov通常設(shè)置在0.01和10之間。

圖表 4 在正常的測(cè)量噪聲協(xié)方差范圍(a)中，盡管有(R，H)設(shè)置，我們的軌跡劫持攻擊僅需要對(duì)抗示例平均只欺騙2~3個(gè)連續(xù)的幀來(lái)成功地帶偏目標(biāo)軌跡。我們還比較了在不同的攻擊者能力下，軌跡劫持的成功率與以前對(duì)目標(biāo)檢測(cè)器的敵對(duì)攻擊的成功率，即對(duì)抗示例可以可靠地欺騙目標(biāo)檢測(cè)器所需的連續(xù)幀的數(shù)量(b)

評(píng)估結(jié)果

圖4a表明了在20個(gè)視頻剪輯上成功的軌道劫持，物體檢測(cè)上的對(duì)抗示例需要欺騙的平均幀數(shù)。雖然在fps為30時(shí)推薦R = 60、H = 6的配置，我們?nèi)匀粶y(cè)試不同的保留時(shí)間（R）和命中數(shù)（H）組合，這是因?yàn)楝F(xiàn)實(shí)部署通常比較保守，使用較小的R和H。結(jié)果表明，盡管有(R，H)配置，軌跡劫持攻擊僅需要平均在2到3個(gè)連續(xù)幀中成功的目標(biāo)檢測(cè)對(duì)抗示例就能成功。我們還發(fā)現(xiàn)，即使只有一幀成功的對(duì)抗示例，當(dāng)cov分別為0.1和0.01時(shí)，我們的攻擊仍有50%和30%的成功率。有趣的是，我們發(fā)現(xiàn)對(duì)象移入通常比對(duì)象移出需要更少的幀。原因是，在駛?cè)雸?chǎng)景中停放的車輛(圖2b)相對(duì)于自主車輛自然具有駛離速度。因此，與移出攻擊相比，移入攻擊觸發(fā)了攻擊者期望的速度和原始速度之間的較大差異。這使得原始對(duì)象一旦恢復(fù)，就更難正確關(guān)聯(lián)，使得劫持更容易。圖4b顯示了我們的攻擊和以前盲目針對(duì)目標(biāo)檢測(cè)的攻擊(稱為檢測(cè)攻擊)的成功率。我們復(fù)制了鐘等人最近針對(duì)目標(biāo)檢測(cè)的對(duì)抗性補(bǔ)丁攻擊，該攻擊針對(duì)自動(dòng)駕駛環(huán)境，并通過(guò)真實(shí)世界的汽車測(cè)試顯示了其有效性。在這種攻擊中，目標(biāo)是從每一幀的檢測(cè)結(jié)果中擦除目標(biāo)類。在兩種(R，H)設(shè)置下進(jìn)行評(píng)估，我們發(fā)現(xiàn)我們的軌跡劫持攻擊即使只攻擊3幀也能達(dá)到優(yōu)越的攻擊成功率(100%)，而檢測(cè)攻擊需要可靠地欺騙至少R個(gè)連續(xù)幀。當(dāng)按照30 fps的幀率將R設(shè)置為60時(shí)，檢測(cè)攻擊需要在受害自駕車行駛的同時(shí)對(duì)抗性補(bǔ)丁能夠持續(xù)成功至少60幀。這意味著超過(guò)98.3% (59/60)的對(duì)抗示例成功率，這在以前的研究中從未達(dá)到。請(qǐng)注意，檢測(cè)攻擊在R之前仍然可以有高達(dá)約25%的成功率。這是因?yàn)闄z測(cè)攻擊導(dǎo)致對(duì)象在某些幀中消失，并且當(dāng)車輛航向在此消失期間發(fā)生變化時(shí)，仍然有可能導(dǎo)致原始對(duì)象在恢復(fù)時(shí)與原始軌跡中的軌跡預(yù)測(cè)不匹配。然而，由于我們的攻擊是為了故意誤導(dǎo)多目標(biāo)跟蹤中的軌跡預(yù)測(cè)，我們的成功率要高得多(3-4倍)，并且可以在少至3幀的攻擊下達(dá)到100%。

04

討論與總結(jié)

對(duì)該領(lǐng)域未來(lái)研究的啟示

如今，針對(duì)自動(dòng)駕駛中視覺(jué)感知的對(duì)抗性機(jī)器學(xué)習(xí)研究，無(wú)論是攻擊還是防御，都使用目標(biāo)檢測(cè)的準(zhǔn)確性作為事實(shí)上的評(píng)估指標(biāo)。然而，正如在我們的工作中具體顯示的，在不考慮多目標(biāo)跟蹤的情況下，對(duì)檢測(cè)結(jié)果的成功攻擊并不意味著對(duì)多目標(biāo)跟蹤結(jié)果的同等或接近成功的攻擊，多目標(biāo)跟蹤結(jié)果是真實(shí)世界自動(dòng)駕駛中視覺(jué)感知任務(wù)的最終輸出。因此，我們認(rèn)為這一領(lǐng)域的未來(lái)研究應(yīng)考慮:(1)使用多目標(biāo)跟蹤準(zhǔn)確度作為評(píng)估指標(biāo)；(2)不僅僅關(guān)注目標(biāo)檢測(cè)，還應(yīng)研究多目標(biāo)跟蹤特有的弱點(diǎn)或多目標(biāo)跟蹤與目標(biāo)檢測(cè)之間的相互作用，這是一個(gè)目前尚未充分探索的研究領(lǐng)域。這篇論文標(biāo)志著第一次朝兩個(gè)方向努力的研究。

實(shí)用性提升

我們的評(píng)估目前都是用捕獲的視頻幀進(jìn)行數(shù)字處理的，而我們的方法在應(yīng)用于生成物理補(bǔ)丁時(shí)應(yīng)該仍然有效。例如，我們提出的對(duì)抗補(bǔ)丁生成方法可以自然地與以前工作提出的不同技術(shù)相結(jié)合，以增強(qiáng)物理世界中的可靠性。

通用性提高

雖然在這項(xiàng)工作中，我們側(cè)重于使用基于IoU的數(shù)據(jù)關(guān)聯(lián)的多目標(biāo)跟蹤算法，但我們尋找位置來(lái)放置對(duì)抗邊界框的方法通常適用于其他關(guān)聯(lián)機(jī)制(例如，基于外觀的匹配)。我們針對(duì)YOLOv3的對(duì)抗示例生成算法也應(yīng)該適用于其他具有適度適應(yīng)性的目標(biāo)檢測(cè)模型。我們計(jì)劃提供更多真實(shí)世界端到端視覺(jué)感知管道的參考實(shí)現(xiàn)，為未來(lái)自動(dòng)駕駛場(chǎng)景中的對(duì)抗學(xué)習(xí)研究鋪平道路。

fqj