視頻目標(biāo)跟蹤分析

研究背景介紹

近年來(lái)，隨著大數(shù)據(jù)、云計(jì)算、人工智能等領(lǐng)域日新月異的發(fā)展及交互融合，智慧電商、智慧交通、智慧城市等概念越發(fā)受到關(guān)注。隨著人們對(duì)更智能、更便捷、更高質(zhì)量生活的向往，同時(shí)伴隨著重大的學(xué)術(shù)價(jià)值和廣闊的商業(yè)前景，眾多高校、科研機(jī)構(gòu)、政府部門均對(duì)相關(guān)產(chǎn)業(yè)投入了大量的人力、物力和財(cái)力。人工智能，被喻為新時(shí)代工業(yè)革命的引擎，正在悄然滲入到各行各業(yè)并改變著我們的生活方式。計(jì)算機(jī)視覺是人工智能領(lǐng)域的重要分支，旨在研宄如何讓計(jì)算機(jī)像人類視覺系統(tǒng)一樣智能地感知、分析、處理現(xiàn)實(shí)世界。以圖像和視頻為信息載體的各項(xiàng)計(jì)算機(jī)視覺算法，早己滲透到大眾的日常生活中，如人臉識(shí)別、人機(jī)交互、商品檢索、智能監(jiān)控、視覺導(dǎo)航等。視頻目標(biāo)跟蹤技術(shù)，作為計(jì)算機(jī)視覺領(lǐng)域中基礎(chǔ)的、重要的研宄方向之一，一直是研宄人員的關(guān)注熱點(diǎn)。

視頻目標(biāo)跟蹤要求在已知第一幀感興趣物體的位置和尺度信息的情況下，對(duì)該目標(biāo)在后續(xù)視頻幀中進(jìn)行持續(xù)的定位和尺度估計(jì)Ｗ。廣義的目標(biāo)跟蹤通常包含單目標(biāo)跟蹤和多目標(biāo)跟蹤。兩者既有差別又有緊密的聯(lián)系。多目標(biāo)跟蹤算法主要包括目標(biāo)檢測(cè)和軌跡關(guān)聯(lián)，以確保同一個(gè)物體在視頻中獲得固定的、唯一的數(shù)字標(biāo)識(shí)。多目標(biāo)跟蹤通常限定在目標(biāo)類別已知的場(chǎng)景中，如多行人、多車輛的視覺跟蹤。因此，多目標(biāo)跟蹤算法高度依賴現(xiàn)成的目標(biāo)檢測(cè)器。物體檢測(cè)的質(zhì)量直接關(guān)系到后續(xù)的多目標(biāo)軌跡關(guān)聯(lián)。不同地，單目標(biāo)跟蹤算法要求處理任意類別的物體，即不知道任何關(guān)于目標(biāo)的先驗(yàn)信息。雖然前提條件略有差異，但正如其名，單目標(biāo)跟蹤與多目標(biāo)跟蹤都緊緊圍繞著視頻中的物體識(shí)別與跟蹤，因而在外觀建模、運(yùn)動(dòng)分析、軌跡關(guān)聯(lián)等技術(shù)細(xì)節(jié)上有緊密的關(guān)聯(lián)。如何將單目標(biāo)跟蹤技術(shù)應(yīng)用于多目標(biāo)跟蹤領(lǐng)域也被廣泛研宄。因此，研究經(jīng)典的、通用的單目標(biāo)跟蹤任務(wù)對(duì)于整個(gè)跟蹤領(lǐng)域的發(fā)展有重要意義

隨著計(jì)算機(jī)運(yùn)算性能的突飛猛進(jìn)、高性能攝像終端的廣泛普及、以及視頻分析需求的與日俱增，目標(biāo)跟蹤算法應(yīng)用范圍愈發(fā)廣泛，落地需求愈加強(qiáng)烈。實(shí)現(xiàn)一個(gè)可以精準(zhǔn)地、穩(wěn)健地、快速地執(zhí)行目標(biāo)定位的高效視覺跟蹤系統(tǒng)是目前不懈努力的技術(shù)方向＝近年來(lái)，在國(guó)內(nèi)外大量學(xué)者的努力研宄下，該方向已經(jīng)取得了突飛猛進(jìn)的進(jìn)展，但同時(shí)仍存在許多亟需解決的問題，例如如何應(yīng)對(duì)跟蹤過程中目標(biāo)的形變、模糊、旋轉(zhuǎn)、遮擋、超出視野等。隨著深度模型如卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）等的應(yīng)用，以及GPU設(shè)備帶來(lái)的計(jì)算效率的巨大躍升，目標(biāo)跟蹤技術(shù)受益于更魯棒的特征表達(dá)以及端到端的模型訓(xùn)練，已經(jīng)在速度和精度方面漸漸接近了人們?cè)趯?shí)際生活中的應(yīng)用需求。視頻目標(biāo)跟蹤作為一個(gè)中低層的視覺分析任務(wù)，對(duì)眾多其它視覺任務(wù)具有良好的輔助作用，如協(xié)助視頻目標(biāo)檢測(cè)、視頻目標(biāo)分割、視頻行人重識(shí)別等。在實(shí)際應(yīng)用場(chǎng)景中，如圖下圖所示，目標(biāo)跟蹤的應(yīng)用包括但不局限于以下方面：

１安全監(jiān)控：安全監(jiān)控需要對(duì)特定區(qū)域中的行人及物體進(jìn)行持續(xù)的檢測(cè)和跟蹤，以便及時(shí)發(fā)現(xiàn)行人的異常行為或場(chǎng)景中的安全隱患。安全監(jiān)控廣泛應(yīng)用于日常生活的各個(gè)角落，如學(xué)校、銀行、超市、火車站、停車場(chǎng)、辦公樓以及街道路口等。智能監(jiān)控通過對(duì)可疑行人的識(shí)別、跟蹤、以及更高層面的語(yǔ)義理解，自動(dòng)分析并預(yù)警，提高效率的同時(shí)極大地減輕了人們的工作負(fù)擔(dān)。

２城市交通：伴隨著現(xiàn)代城市巨大的車流量、人流量、遮擋建筑物等，城市交通場(chǎng)景的分析任務(wù)復(fù)雜且繁重。利用視頻目標(biāo)跟蹤技術(shù)，對(duì)行人軌跡、違章車輛、超速駕駛、車流密度等進(jìn)行實(shí)時(shí)監(jiān)控，為進(jìn)一步的場(chǎng)景分析、秩序維護(hù)、智能調(diào)度提供便利，節(jié)約人力物力。

３人機(jī)交互：隨著計(jì)算機(jī)設(shè)備的智能化提升、虛擬現(xiàn)實(shí)等技術(shù)的成熟，人們不再僅僅滿足于傳統(tǒng)的機(jī)械式人機(jī)交互（如使用鼠標(biāo)、鍵盤），如何與智能設(shè)備更便捷地進(jìn)行溝通顯得愈發(fā)重要。攝像頭準(zhǔn)確、高效地捕捉并持續(xù)跟蹤用戶的眼神、表情、手勢(shì)以及姿態(tài)是人機(jī)智能交互的第一步，而這離不開目標(biāo)跟蹤技術(shù)的支持。

４軍事領(lǐng)域：視覺跟蹤技術(shù)在現(xiàn)代戰(zhàn)爭(zhēng)中一直扮演著重要角色。隨著現(xiàn)代戰(zhàn)爭(zhēng)武器的自動(dòng)化部署，電光火石的交鋒已經(jīng)遠(yuǎn)遠(yuǎn)超出了人類感知的極限。視覺跟蹤技術(shù)在導(dǎo)彈制導(dǎo)、火炮控制、武器觀測(cè)瞄準(zhǔn)、無(wú)人機(jī)偵察等領(lǐng)域發(fā)揮著舉足輕重的作用。結(jié)合視覺感知并輔以多元信息（如激光和雷達(dá)）融合的跟蹤技術(shù)一直是軍事研宄的熱點(diǎn)。

５自動(dòng)駕駛：自動(dòng)駕駛需要車輛對(duì)周圍的場(chǎng)景進(jìn)行實(shí)時(shí)的感知和分析。毋庸置疑，視覺跟蹤技術(shù)在其中發(fā)揮著重要作用。通過攝像頭對(duì)周圍環(huán)境中的目標(biāo)進(jìn)行持續(xù)的跟蹤定位，為無(wú)人車的路況分析、智能導(dǎo)航、行駛決策等提供了重要信息，保障交通順暢，減少事故發(fā)生。

６醫(yī)療診斷：視覺跟蹤技術(shù)為智慧醫(yī)療提供了堅(jiān)實(shí)的保障并促進(jìn)其發(fā)展。例如，使用跟蹤技術(shù)標(biāo)記特定的細(xì)胞、蛋白質(zhì)等，通過對(duì)其進(jìn)行跟蹤和軌跡分析，輔助醫(yī)生進(jìn)行疾病診斷和醫(yī)療救治。通過內(nèi)窺鏡等設(shè)備的跟蹤和軌跡控制，精準(zhǔn)地掌握病人情況。此外，跟蹤技術(shù)也用于對(duì)特定患病部位的持續(xù)追蹤和對(duì)比，為疾病動(dòng)態(tài)檢測(cè)提供了極大便利。

此外，目標(biāo)跟蹤技術(shù)也在視頻編輯、三維重建、機(jī)器人、機(jī)械自動(dòng)控制等領(lǐng)域發(fā)揮著重要作用。

模塊之-運(yùn)動(dòng)模型

運(yùn)動(dòng)模型主要對(duì)目標(biāo)在視頻中的運(yùn)動(dòng)軌跡進(jìn)行建模和估計(jì)。在每一幀中，為較少不必要的運(yùn)算開銷，跟蹤算法通常依據(jù)運(yùn)動(dòng)模型在特定的區(qū)域采樣候選樣本來(lái)尋找最可能的目標(biāo)。跟蹤領(lǐng)域中，常見的運(yùn)動(dòng)模型包括卡爾曼濾波、粒子濾波、滑窗采樣等。早期的跟蹤算法（如基于稀疏表達(dá)和ＳＶＭ的跟蹤器）廣泛地采用粒子濾波作為運(yùn)動(dòng)模型，其基本假設(shè)是目標(biāo)在相鄰幀間的運(yùn)動(dòng)符合高斯分布。類似地，基于分類網(wǎng)絡(luò)的跟蹤器如MDNET同樣在目標(biāo)前一幀位置處以高斯分布采樣大量的候選粒子，并依據(jù)觀測(cè)模型進(jìn)一步分類。在后續(xù)的判別式跟蹤算法（如相關(guān)濾波器和雙路網(wǎng)絡(luò)）中，最常見的是滑窗式采樣，即假設(shè)目標(biāo)在相鄰幀間的運(yùn)動(dòng)符合均勻分布。相關(guān)濾波器和雙路網(wǎng)絡(luò)通常以前一幀跟蹤位置為中心剪裁出目標(biāo)的幾倍大區(qū)域，通常被稱為感興趣區(qū)域（Region of Interest），并在該區(qū)域內(nèi)稠密地、滑窗式地搜索目標(biāo)位置。必要時(shí)，這些跟蹤算法還會(huì)在跟蹤響應(yīng)圖上增加漢明窗以懲罰目標(biāo)相鄰幀間運(yùn)動(dòng)過遠(yuǎn)的預(yù)測(cè)。最新的基于梯度的深度跟蹤算法也普遍地采用均勻分布的運(yùn)動(dòng)估計(jì)。上述的基于高斯分布或均勻分布的運(yùn)動(dòng)估計(jì)均沒有較好的建模目標(biāo)的運(yùn)動(dòng)信息。在SINT算法中，作者使用光流算法來(lái)指導(dǎo)候選樣本的采樣過程，但在性能提升有限的同時(shí)又帶來(lái)了巨大的運(yùn)算代價(jià)。針對(duì)DTB數(shù)據(jù)集Ｍ，作者針對(duì)無(wú)人機(jī)拍攝的跟蹤場(chǎng)景提出了有效的運(yùn)動(dòng)模型，但是僅局限于特定的情況。由于跟蹤領(lǐng)域的數(shù)據(jù)集眾多且拍攝場(chǎng)景多樣、復(fù)雜，其中不乏人為制造的相機(jī)劇烈抖動(dòng)、目標(biāo)無(wú)規(guī)則運(yùn)動(dòng)等因素來(lái)增加視頻的難度，因此單純地依賴運(yùn)動(dòng)模型很難準(zhǔn)確地估計(jì)目標(biāo)的運(yùn)動(dòng)軌跡。正因如此，科研人員將主要的研宄精力放在了觀測(cè)模型的構(gòu)造和改進(jìn)上，即依賴觀測(cè)模型的強(qiáng)大辨別能力來(lái)篩選和精煉運(yùn)動(dòng)模型產(chǎn)生的大量候選粒子。

模塊之-特征提取

依據(jù)運(yùn)動(dòng)模型確定當(dāng)前幀的目標(biāo)搜索范圍后，接下來(lái)需要對(duì)候選區(qū)域或候選樣本進(jìn)行特征提取。在跟蹤任務(wù)中，良好的特征表達(dá)不僅需要刻畫候選目標(biāo)豐富的、魯棒的、具有（旋轉(zhuǎn)、形變、光照等）不變性的外觀表達(dá)，同時(shí)還要凸顯出樣本間最具有區(qū)分力的特征差異以便于正負(fù)樣本的辨別。視覺跟蹤任務(wù)的特征表達(dá)大體經(jīng)歷了手工特征和深度特征兩階段。在早期的手工特征階段，研究人員使用各種人為手工設(shè)計(jì)的規(guī)則將候選樣本進(jìn)行向量化表達(dá)。早期的基于稀疏表達(dá)的目標(biāo)跟蹤構(gòu)造關(guān)于目標(biāo)的完備字典，并通過衡量候選樣本在字典下的重構(gòu)誤差來(lái)預(yù)測(cè)目標(biāo)的位置。由于稀疏表達(dá)的求解相對(duì)耗時(shí)，早期的稀疏表達(dá)跟蹤通常使用維度較低的灰度值特征。在后續(xù)工作中，Zhang等人通過在稀疏建模中引入循環(huán)矩陣性質(zhì)并近似得到閉合解，使得稀疏表達(dá)跟蹤器可以使用更高維度的特征（如HOG）來(lái)進(jìn)一步提升性能?；赟VM（Support Vector Machine）的目標(biāo)跟蹤同樣取得了優(yōu)異的性能。該類算法通常采用Harr特征?；陬伾狈綀D的跟蹤器也曾經(jīng)受到了廣泛的關(guān)注。顏色直方圖的統(tǒng)計(jì)特性使得這類算法可以更加魯棒地處理目標(biāo)形變。最早的相關(guān)濾波器MOSSE算法采用單通道的灰度值特征，因而展現(xiàn)了極高的運(yùn)算速度。在后續(xù)的相關(guān)濾波器算法中，被證明是最有效、適合于相關(guān)濾波器的特征表達(dá)，并已經(jīng)成為這類算法中最常見的兩類手工特征。當(dāng)前眾多性能優(yōu)異的相關(guān)濾波器算法都不同程度地使用HOG和ColorNames，如SRDCF、BACF、CSR-DCF、STRCF、ECOHC等。

隨著近年來(lái)深度學(xué)習(xí)的流行，視覺跟蹤中特征表達(dá)逐漸由手工特征轉(zhuǎn)換到深度特征。相比于注重局部的、底層的、紋理和輪廓等信息的手工特征，深度特征無(wú)需人工啟發(fā)式地設(shè)計(jì)，而是端到端地通過數(shù)據(jù)驅(qū)動(dòng)來(lái)學(xué)習(xí)，具有高層語(yǔ)義特征表達(dá)的能力。早期的工作DLT中，研宄人員將圖像預(yù)訓(xùn)練的深度特征用于目標(biāo)跟蹤。由于缺乏大規(guī)模的訓(xùn)練數(shù)據(jù)，該時(shí)期的深度跟蹤算法并沒有展現(xiàn)出明顯的性能優(yōu)勢(shì)。在2015年，不同的研究團(tuán)隊(duì)幾乎同時(shí)地使用Image Net預(yù)訓(xùn)練的CNN網(wǎng)絡(luò)（如VGG-19、VGG-M）用于跟蹤器的特征提取。Ma等人發(fā)現(xiàn)CNN網(wǎng)絡(luò)不同層的特征具有不同層面的表達(dá)能力，將多尺度特征進(jìn)行結(jié)合可以進(jìn)一步提升跟蹤性能。此后，深度相關(guān)濾波器算法普遍地采用多層CNN特征。然而，該時(shí)期的深度相關(guān)濾波器算法僅使用現(xiàn)成的CNN網(wǎng)絡(luò)用于特征提取，并沒有充分發(fā)揮端到端訓(xùn)練的優(yōu)勢(shì)。在2017年，同時(shí)期的CFNET和DCFNet將特征提取網(wǎng)絡(luò)和相關(guān)濾波器進(jìn)行聯(lián)合訓(xùn)練，使得深度特征更加適合于相關(guān)濾波算法。后續(xù)工作中，相關(guān)濾波器的建模方式被廣泛地應(yīng)用于跟蹤框架中，如CREST、ATOM、DiMP等跟蹤器。它們的特征提取網(wǎng)絡(luò)也從VGG-M漸漸轉(zhuǎn)換到更深的ResNet?；诜诸惥W(wǎng)絡(luò)的跟蹤器（如MDNet、VITAL）主要采用VGG-M網(wǎng)絡(luò)進(jìn)行特征提取并在線地訓(xùn)練全連接層進(jìn)行樣本分類。早期的雙路網(wǎng)絡(luò)跟蹤算法主要采用AlexNet網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行端到端的模型訓(xùn)練。在2019年，研宄人員探索了如何使用更深、更寬的神經(jīng)網(wǎng)絡(luò)（如ResNet-50）以進(jìn)一步提高雙路網(wǎng)絡(luò)的性能。此后，性能頂尖的雙路網(wǎng)絡(luò)基本都采用具有強(qiáng)大特征表達(dá)能力的ResNet-50網(wǎng)絡(luò)。

模塊之-觀測(cè)模型

根據(jù)觀測(cè)模型的不同，跟蹤算法大體上可以分為生成式和判別式跟蹤器。生成式模型僅僅使用前景的目標(biāo)信息來(lái)構(gòu)造跟蹤模型，通過衡量候選樣本的重構(gòu)誤差或相似性來(lái)挑選最優(yōu)樣本。常見的生成式跟蹤框架包含稀疏表達(dá)、子空間學(xué)習(xí)等。判別式跟蹤器同時(shí)考慮前景信息和背景信息，以學(xué)習(xí)到具有區(qū)分力的跟蹤模型。常見的判別式跟蹤器包括隨機(jī)森林分類器、SVM跟蹤器、相關(guān)濾波器、分類式神經(jīng)網(wǎng)絡(luò)、雙路網(wǎng)絡(luò)等。由于同時(shí)利用了前景和背景信息，判別式模型憑借其優(yōu)異的區(qū)分能力成為跟蹤領(lǐng)域的主流，并在性能上遠(yuǎn)遠(yuǎn)超過生成式跟蹤算法。接下來(lái)的內(nèi)容主要介紹近年來(lái)流行的生成式和判別式跟蹤器。

１．生成式模型

基于子空間學(xué)習(xí)的跟蹤算法：該類算法的核心思想在于將特征從高維到低維進(jìn)行映射，從而構(gòu)造一系列子空間對(duì)目標(biāo)外觀進(jìn)行建模，進(jìn)一步計(jì)算候選樣本在子空間下的重構(gòu)誤差或相似性以挑選出最可能的目標(biāo)。Black等人最早利用子空間學(xué)習(xí)搭建視覺跟蹤算法，并提出了基于不同視角、光照樣本下的子空間學(xué)習(xí)方案進(jìn)行外觀建模。由于該算法需要大量的先驗(yàn)知識(shí)，因而不適合實(shí)際應(yīng)用場(chǎng)景。IVT算法采用了增量主成分分析來(lái)更新子空間，以適應(yīng)目標(biāo)的外觀變化。Yu等人進(jìn)一步將増量流型子空間算法引入到視覺跟蹤領(lǐng)域，以同時(shí)保持多個(gè)子空間。

基于稀疏表達(dá)的跟蹤算法：自從稀疏表達(dá)算法在人臉識(shí)別中大放異彩，基于稀疏表達(dá)的目標(biāo)跟蹤受到了廣泛關(guān)注。Mei等人較早地使用基于l1范數(shù)的稀疏表達(dá)模型對(duì)目標(biāo)進(jìn)行建模，通過使用初始幀和后續(xù)跟蹤得到的正樣本構(gòu)造稀疏表達(dá)字典，并衡量候選樣本在字典集下的重構(gòu)誤差來(lái)選擇其中最可能的目標(biāo)。由于l1范數(shù)的求解過程復(fù)雜度很高，后續(xù)的研究采用了改進(jìn)的優(yōu)化算法如加速近似梯度算法（Accelerated Proximal Gradient，APG）和正交匹配追蹤（Orthogonal Matching Pursuit OMP）處理跟蹤任務(wù)。Jia等人采用基于局部圖像塊的稀疏表達(dá)建模方法，并獲得穩(wěn)健的跟蹤結(jié)果。Zhong等人將基于局部圖像稀疏表達(dá)的生成模型和基于前景背景的辨別模型結(jié)合起來(lái)以達(dá)到模型間的優(yōu)勢(shì)互補(bǔ)。最近的工作中，Zhang等人通過在稀疏表達(dá)框架中引入循環(huán)矩陣的性質(zhì)，從而獲得了頻域上的高效運(yùn)算，進(jìn)一步提高了稀疏表達(dá)跟蹤的效率。

２．判別式模型

基于SVM的跟蹤算法：早在2001年，Avidan將支持向量機(jī)（Support Vector Machine，SVM）用于視頻目標(biāo)跟蹤，通過ＳＶＭ學(xué)習(xí)的分類器模型來(lái)區(qū)分正負(fù)樣本。隨后，各種改進(jìn)的ＳＶＭ跟蹤器不斷涌現(xiàn)。Supancic等人提出了基于自步學(xué)習(xí)（Self-paced learning）的SVM跟蹤器。Hare等人提出了結(jié)構(gòu)化輸出的ＳＶＭ跟蹤算法Struck，在當(dāng)時(shí)取得了令人印象深刻的性能。Zhang等人在2014年提出了基于熵最小化原則的集成式ＳＶＭ跟蹤框架，達(dá)到了十分魯棒的預(yù)測(cè)結(jié)果。隨著深度學(xué)習(xí)的興起，將神經(jīng)網(wǎng)絡(luò)和ＳＶＭ算法結(jié)合的CNN-SVM跟蹤器大幅度超越了之前采用手工特征的SVM跟蹤器。

基于相關(guān)濾波器的跟蹤算法：相關(guān)濾波器（Correlation Filter，CF）通過學(xué)習(xí)一個(gè)具有區(qū)分力的濾波器來(lái)處理待跟蹤圖片，其輸出結(jié)果為一個(gè)響應(yīng)圖，表示目標(biāo)在后續(xù)幀中不同位置的置信度。相關(guān)濾波器通過利用循環(huán)樣本和循環(huán)矩陣的性質(zhì)求解嶺回歸問題，得到了頻域上的高效閉合解，計(jì)算效率十分出色。但由于相關(guān)濾波器的學(xué)習(xí)過程中引入了循環(huán)樣本，這些樣本不可避免地帶來(lái)了邊界效應(yīng)，因此傳統(tǒng)的相關(guān)濾波器算法在如何抑制邊界效應(yīng)上開展了大量的研宄，典型的工作包括SRDCF、BACF等。此外，許多先進(jìn)的技術(shù)也融入在相關(guān)濾波器算法中，如結(jié)合多種核函數(shù)和粒子濾波器結(jié)合適用于長(zhǎng)時(shí)跟蹤的重檢測(cè)、集成學(xué)習(xí)等。

隨著深度學(xué)習(xí)的日益發(fā)展，深度學(xué)習(xí)和相關(guān)濾波器的結(jié)合受到了廣泛的關(guān)注。早期的工作中，研究人員探索如何將離線訓(xùn)練好的深度特征和相關(guān)濾波器進(jìn)行結(jié)合。典型的工作HCF提出將不同層的深度特征分別訓(xùn)練相關(guān)濾波器并進(jìn)行由粗到精（coarse to fine）的融合。在后續(xù)的工作中，如何更加充分地利用深度特征被進(jìn)一步探索，如HDT算法研究了如何自適應(yīng)地改變各尺度特征下跟蹤響應(yīng)的權(quán)重。在深度相關(guān)濾波器的基礎(chǔ)上，代表性工作C-COT和ECO取得了當(dāng)時(shí)優(yōu)異的性能。C-COT算法重點(diǎn)研究了不同層深度特征的分辨率不同而導(dǎo)致的響應(yīng)圖融合問題，并提出了連續(xù)性插值和濾波器聯(lián)合優(yōu)化的方法，取得了良好的效果。ECO在C-COT的基礎(chǔ)上，研宄了自適應(yīng)的相關(guān)濾波器選取、目標(biāo)樣本的聚類、稀疏的目標(biāo)更新，獲得了速度和存儲(chǔ)上的進(jìn)一步優(yōu)化并輕微提升了性能。在UPDT中，作者詳細(xì)分析了深度相關(guān)濾波器算法的性能瓶頸，并提出了適合深度相關(guān)濾波器的數(shù)據(jù)增廣、濾波器帶寬、融合權(quán)重優(yōu)化等細(xì)節(jié)，使得相關(guān)濾波器在采用更深的神經(jīng)網(wǎng)絡(luò)后可以得到持續(xù)的性能提升。

隨著研究的深入，研究人員發(fā)現(xiàn)離線訓(xùn)練的深度特征可能并不是相關(guān)濾波器的最優(yōu)選擇。得益于相關(guān)濾波器的閉合解，研究人員嘗試將濾波器和特征提取網(wǎng)絡(luò)進(jìn)行聯(lián)合訓(xùn)練，經(jīng)典的工作包括CFNet和DCFNet。CFNet將相關(guān)濾波器嵌入在雙路網(wǎng)絡(luò)中進(jìn)行端到端的學(xué)習(xí)，在獲得相關(guān)濾波器辨別能力的情況下，同時(shí)保證了極高的運(yùn)行效率。但是，具有邊界效應(yīng)抑制能力的一系列工作（如SRDCF、BACF）和其它優(yōu)化算法（如C-COT、ECO）破壞了經(jīng)典相關(guān)濾波器的閉合解，通常需要使用交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）進(jìn)行優(yōu)化，為端到端訓(xùn)練帶來(lái)挑戰(zhàn)。

在最新的工作中，研究者采用梯度優(yōu)化的方法來(lái)端到端地優(yōu)化基于相關(guān)濾波器算法的深度框架。在CREST算法中，深度學(xué)習(xí)中常見的隨機(jī)梯度下降算法（Stochastic Gradient Descent，SGD）被用于優(yōu)化正則化最小二乘損失（即嶺回歸），來(lái)學(xué)習(xí)一個(gè)類似于相關(guān)濾波器的、具備前景背景區(qū)分能力的卷積核。此卷積核與搜索圖的特征圖進(jìn)行卷積，生成目標(biāo)跟蹤響應(yīng)圖。在CREST跟蹤器中shrink loss，作者進(jìn)一步引入殘差項(xiàng)來(lái)彌補(bǔ)目標(biāo)外觀的快速變化，取得了進(jìn)一步的性能提升。在DLST算法中，作者引入了收縮式損失，極大地抑制了冗余的、容易分類的負(fù)樣本的權(quán)重，使得學(xué)習(xí)到的濾波器更加具有區(qū)分力且學(xué)習(xí)的速度更快。上述的隨機(jī)梯度下降方案通常需要數(shù)十次甚至上百次迭代才能較好地收斂，因而一定程度抑制了跟蹤器的效率。在最近的工作中，研宄人員轉(zhuǎn)向更加快速的梯度下降方法。在最近的ATOM算法中，作者采用共軛梯度策略結(jié)合深度學(xué)習(xí)框架進(jìn)行快速優(yōu)化。該研宄團(tuán)隊(duì)在工作DiMp中進(jìn)一步將該思想擴(kuò)展到了端到端的學(xué)習(xí)中，并通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)跟蹤模型所需的各種參數(shù)。由于端到端地估計(jì)梯度下降的優(yōu)化步長(zhǎng)，使得模型可以在少數(shù)幾次迭代中快速收斂，保持了嶺回歸損失的區(qū)分能力同時(shí)保證了跟蹤效率。該算法在數(shù)個(gè)跟蹤數(shù)據(jù)集上都刷新了當(dāng)時(shí)的性能記錄。

基于分類網(wǎng)絡(luò)的跟蹤算法：基于分類的深度跟蹤方法將視頻目標(biāo)跟蹤視為前景（目標(biāo)）和背景的二分類任務(wù)，并借鑒流行的目標(biāo)檢測(cè)算法R-CNNM訓(xùn)練跟蹤器。該深度跟蹤網(wǎng)絡(luò)包含一系列卷積層以提取候選樣本的魯棒特征表達(dá)，并通過后續(xù)的全連接層對(duì)樣本進(jìn)行二分類。該方法利用初始幀中的標(biāo)注樣本進(jìn)行模型微調(diào)，并在跟蹤過程中不斷更新網(wǎng)絡(luò)，因而效率較低。MDNet方法％最早使用分類式網(wǎng)絡(luò)進(jìn)行目標(biāo)跟蹤，并針對(duì)待跟蹤物體在不同視頻中引發(fā)的歧義問題，即該視頻中的目標(biāo)可能成為其它視頻中的背景物體，從而引入了多數(shù)據(jù)域的訓(xùn)練框架。在MDNet的訓(xùn)練過程中，網(wǎng)絡(luò)的共享層由訓(xùn)練集中所有視頻共同訓(xùn)練以學(xué)習(xí)魯棒的通用特征表達(dá)。對(duì)每個(gè)視頻，MDNet又分別訓(xùn)練獨(dú)立的分類層（最后一個(gè)全連接層）用于區(qū)分當(dāng)前視頻域中的目標(biāo)和背景。經(jīng)過離線訓(xùn)練階段，在跟蹤時(shí)，利用第一幀的標(biāo)注信息快速微調(diào)一個(gè)新的全連接層用于辨別當(dāng)前視頻的目標(biāo)和背景。

后續(xù)的一系列工作圍繞該分類式模型展開。BmnchOut算法在l0的基礎(chǔ)上引入了模型集成的思想，在線地學(xué)習(xí)并更新多個(gè)全連接層，并逐幀挑選最具判別力的全連接層進(jìn)行跟蹤。VITAL方法在MDNet的基礎(chǔ)上引入了生成對(duì)抗式網(wǎng)絡(luò)，通過在訓(xùn)練時(shí)遮擋目標(biāo)的不同區(qū)域以增強(qiáng)網(wǎng)絡(luò)的特征表達(dá)能力以及預(yù)測(cè)的魯棒性。分類式跟蹤方法的主要弊端在于速度很慢，在GPU中僅能達(dá)到１FPS，其主要原因在于大量的候選樣本需要重復(fù)的特征提取。后續(xù)的實(shí)時(shí)MDNet算法（RT-MDNet）在分類式網(wǎng)絡(luò)借鑒Fast RCNN的思想，對(duì)搜索區(qū)域進(jìn)行共享特征提取，然后再使用ROI-Align裁剪出候選樣本特征，使得精度僅有輕微影響的情況下跟蹤速度提高２５倍以上。

基于雙路網(wǎng)絡(luò)的跟蹤算法：雙路網(wǎng)絡(luò)將目標(biāo)跟蹤視為模板匹配任務(wù)，通過尋找和第一幀模板最相似的候選進(jìn)行目標(biāo)定位。由于雙路網(wǎng)絡(luò)的前景、背景判別能力是通過離線階段大量數(shù)據(jù)訓(xùn)練得到的，不需要模型的在線更新，因而展示了極為出色的跟蹤效率。SINT算法通過衡量候選樣本和初始幀模板的相似度進(jìn)行跟蹤。同時(shí)期，Bertinetto等人間提出了全卷積的雙路網(wǎng)絡(luò)框架SiamFC，此方法利用共享權(quán)重的卷積網(wǎng)絡(luò)提取目標(biāo)模板和搜索區(qū)域的特征，然后通過相關(guān)操作生成搜索區(qū)域的響應(yīng)圖進(jìn)行目標(biāo)定位。

研究人員針對(duì)SiamFC框架，提出一系列改進(jìn)算法，包括集成學(xué)習(xí)引入互補(bǔ)的雙路網(wǎng)絡(luò)分支、引入注意力機(jī)制、圖卷積神經(jīng)網(wǎng)絡(luò)、采用強(qiáng)化學(xué)習(xí)來(lái)調(diào)整模型參數(shù)等。此外，考慮到SiamFC對(duì)目標(biāo)的尺度回歸仍采用傳統(tǒng)的金字塔形式，不能準(zhǔn)確地獲得目標(biāo)的尺度信息，Li等人提出SiamRPN。此方法將目標(biāo)檢測(cè)中的RPN結(jié)構(gòu)引入到SiamFC中，利用參數(shù)共享的模塊提取特征，然后分別經(jīng)過分類支路獲得目標(biāo)的位置以及回歸支路獲得目標(biāo)尺度的精確估計(jì)。相比于SiamFC中采用傳統(tǒng)的圖像金字塔方式來(lái)估計(jì)目標(biāo)尺寸，SiamRPN的推理速度更快，可以達(dá)到160FPS。此后Li等人進(jìn)一步對(duì)SiamRPN進(jìn)行拓展并提出DaSiamRPN，在訓(xùn)練階段通過挖掘負(fù)樣本對(duì)提高了雙路網(wǎng)絡(luò)的辨別能力。為了使雙路算法充分利用現(xiàn)有的深層神經(jīng)網(wǎng)絡(luò)，Li等人將ResNet網(wǎng)絡(luò)引入到雙路跟蹤并提出SiamRPN++算法。SiamRPN++—方面隨機(jī)平移目標(biāo)在搜索區(qū)域內(nèi)的位置以解決ＣＮＮ的邊界填充對(duì)雙路網(wǎng)絡(luò)平移不變性的破壞，另一方面采用了高層、中層、低層特征融合的方式獲得更好的目標(biāo)特征表達(dá)。SiamRPN++在多個(gè)目標(biāo)跟蹤數(shù)據(jù)集上獲得了當(dāng)時(shí)最優(yōu)的性能。

模塊之-模型更新

為了適應(yīng)目標(biāo)的外觀變化，視覺跟蹤算法普遍采用模型更新技術(shù)。例如，稀疏表達(dá)跟蹤器利用新收集的正樣本來(lái)更新稀疏字典；基于SVM的跟蹤算法使用后續(xù)幀中收集的正、負(fù)樣本來(lái)更新決策平面；相關(guān)濾波器將后續(xù)楨中得到的濾波器以指數(shù)型滑動(dòng)平均（exponential moving average）的策略更新初始濾波器；基于分類網(wǎng)絡(luò)的跟蹤器不斷收集新的正、負(fù)樣本來(lái)在線微調(diào)分類網(wǎng)絡(luò)。

然而，由于目標(biāo)遮擋、形變、跟蹤漂移等因素，跟蹤過程中收集的受污染正樣本可能導(dǎo)致模型退化。針對(duì)這個(gè)問題，SRDCFdecon提出了樣本權(quán)重優(yōu)化的方式來(lái)抑制不可靠正樣本的權(quán)重。Wang等人提出了APCE（Average Peak－to－Correlation Energy）評(píng)估準(zhǔn)則來(lái)衡量跟蹤結(jié)果的可靠性。另一方面，跟蹤過程中存在大量的無(wú)意義負(fù)樣本，嚴(yán)重影響了判別式分類器的區(qū)分力。MDNet算法Ｗ通過挖掘困難負(fù)樣本（hard negative mining）來(lái)増強(qiáng)算法的魯棒性。DSLT算法通過設(shè)計(jì)損失函數(shù)來(lái)抑制冗余的負(fù)樣本。在最新的判別式跟蹤算法如ATOM和DiMP中，模型更新時(shí)重點(diǎn)關(guān)注困難負(fù)樣本己經(jīng)成為了算法標(biāo)配。

不同于多數(shù)跟蹤算法，早期的雙路網(wǎng)絡(luò)通常不使用模型更新策略。為了更好地適應(yīng)目標(biāo)外觀變化，MemTrack算法利用LSTM（Long Short Term Memory）結(jié)構(gòu)挖掘歷史幀的模板信息以更新當(dāng)前幀的模板。UpdateNet算法訓(xùn)練一個(gè)獨(dú)立的卷積網(wǎng)絡(luò)并利用歷史模板在下一幀預(yù)測(cè)一個(gè)最優(yōu)的模板特征。GradNet算法通過梯度信息更新模板，一定程度上可以抑制模板中的背景信息。

視頻跟蹤數(shù)據(jù)集

OTB：OTB數(shù)據(jù)集包含OTB-2013和OTB-2015兩個(gè)版本。其中OTB-2013包含51個(gè)以往跟蹤領(lǐng)域的常用測(cè)試視頻。同時(shí)作者還提出了一系列的評(píng)估準(zhǔn)則。該數(shù)據(jù)集及評(píng)價(jià)標(biāo)準(zhǔn)為跟蹤算法提供了統(tǒng)一的測(cè)試與評(píng)估環(huán)境，極大地促進(jìn)了早期視覺跟蹤領(lǐng)域的發(fā)展。OTB-2015數(shù)據(jù)集是OTB-2013的擴(kuò)充，共包含100個(gè)挑戰(zhàn)性視頻。此外，該數(shù)據(jù)集還對(duì)視頻標(biāo)出了遮擋、形變、快速運(yùn)動(dòng)、光照變化、模糊等11個(gè)視頻屬性，便于分析跟蹤器應(yīng)對(duì)不同場(chǎng)景的能力。

TempleColor：Liang等人于2015年提出此數(shù)據(jù)集。針對(duì)OTB數(shù)據(jù)集中存在大量的灰度視頻，不利于實(shí)際場(chǎng)景的算法評(píng)估，TempleColor數(shù)據(jù)集收集了128個(gè)彩色視頻，包含27個(gè)物體類別。其中部分視頻來(lái)源于OTB-2015。

NFS：該數(shù)據(jù)集包含100個(gè)視頻，包含17個(gè)物體類別。不同于常規(guī)數(shù)據(jù)集的每秒30幀的視頻采樣頻率，NFS中的視頻幀率達(dá)到240FPS。更高的視頻幀率對(duì)跟蹤性能有明顯的提升。在該數(shù)據(jù)集上，傳統(tǒng)跟蹤算法和最新跟蹤器之間的性能差距大幅度縮小。

UAV123：此數(shù)據(jù)集包含123個(gè)視頻，共具有9個(gè)物體類別。不同于以往的針對(duì)通用目標(biāo)的跟蹤數(shù)據(jù)集，UAV123針對(duì)特定的無(wú)人機(jī)跟蹤場(chǎng)景，其視頻往往由高空俯視角度拍攝，物體通常更小且視角變化較多。

VOT：?jiǎn)文繕?biāo)視覺跟蹤競(jìng)賽（Visual Object Tracking，VOT）自2013年首次舉辦，每年一期，發(fā)展至今。VOT競(jìng)賽采用的數(shù)據(jù)集主要針對(duì)短時(shí)目標(biāo)跟蹤，近些年也會(huì)評(píng)價(jià)算法的實(shí)時(shí)性以及長(zhǎng)時(shí)目標(biāo)跟蹤的性能。不同于以上數(shù)據(jù)集，跟蹤器在VOT上測(cè)試時(shí)，失敗時(shí)會(huì)被復(fù)位到正確位置。最終根據(jù)失敗次數(shù)以及成功幀的準(zhǔn)確度綜合成統(tǒng)一的指標(biāo)來(lái)評(píng)價(jià)跟蹤器的性能。

LaSOT：LaSOT是近年來(lái)Fan等人提出的大規(guī)模跟蹤數(shù)據(jù)集，共含1400個(gè)人工標(biāo)注的高質(zhì)量視頻。其分為訓(xùn)練集與測(cè)試集，且兩者沒有重疊。該數(shù)據(jù)集包含70個(gè)物體類別，視頻平均長(zhǎng)度在2500幀左右，十分具有挑戰(zhàn)性。

OxUvA：此數(shù)據(jù)集包含366個(gè)視頻，總時(shí)長(zhǎng)超過14個(gè)小時(shí)。OxUvA專門針對(duì)長(zhǎng)時(shí)間目標(biāo)跟蹤的場(chǎng)景。長(zhǎng)時(shí)跟蹤，由于目標(biāo)頻繁地被遮擋及超出視野，對(duì)跟蹤器的魯棒性有更高要求。與此同時(shí)，作者還提出了評(píng)價(jià)長(zhǎng)時(shí)跟蹤性能的評(píng)估指標(biāo)，有助于長(zhǎng)時(shí)跟蹤領(lǐng)域的發(fā)展。

GOT-10K：此數(shù)據(jù)集包含１萬(wàn)個(gè)視頻，共560個(gè)目標(biāo)類別。值得說明的是，該數(shù)據(jù)集的訓(xùn)練視頻和測(cè)試視頻中的物體類別沒有重合，目的在于更加貼近通用目標(biāo)跟蹤的任務(wù)設(shè)定，即跟蹤算法不依賴于特定物體類別或數(shù)據(jù)集，也沒有任何關(guān)于待跟蹤目標(biāo)的先驗(yàn)知識(shí)，可以更好地驗(yàn)證算法的泛化性。

TrackingNet：此數(shù)據(jù)集包含超過３萬(wàn)個(gè)視頻，共有27個(gè)目標(biāo)類別，其視頻數(shù)量和標(biāo)注數(shù)量比以往的跟蹤數(shù)據(jù)集更大。同時(shí)該數(shù)據(jù)集也進(jìn)行了訓(xùn)練集和測(cè)試集的劃分。該數(shù)據(jù)集提供的大規(guī)模訓(xùn)練視頻能夠有效地緩解當(dāng)前跟蹤領(lǐng)域的訓(xùn)練數(shù)據(jù)不足的問題。

審核編輯 ：李倩