LaSOT數(shù)據(jù)集的構(gòu)造原理和評估方法

CVPR 2019期間，專注于AR技術(shù)，整合軟硬件的人工智能公司亮風(fēng)臺公開大規(guī)模單目標(biāo)跟蹤高質(zhì)量數(shù)據(jù)集LaSOT，包含超過352萬幀手工標(biāo)注的圖片和1400個視頻，這也是目前為止最大的擁有密集標(biāo)注的單目標(biāo)跟蹤數(shù)據(jù)集。

論文《LaSOT: A High-quality Benchmark for Large-scale Single Object Tracking》詳細闡述了LaSOT數(shù)據(jù)集的構(gòu)造原理和評估方法，由亮風(fēng)臺、華南理工大學(xué)、美圖-亮風(fēng)臺聯(lián)合實驗室等單位共同完成，收錄于CVPR 2019。此外，亮風(fēng)臺另一算法成果投影AR新成果入選CVPR 2019 oral。

LaSOT貢獻

視覺跟蹤是計算機視覺中最重要的問題之一，其應(yīng)用領(lǐng)域包括視頻監(jiān)控、機器人技術(shù)、人機交互等。隨著跟蹤領(lǐng)域的巨大進步，人們提出了許多算法。在這一過程中，跟蹤基準對客觀評估起到了至關(guān)重要的作用。LaSOT的推出，是希望為行業(yè)提供一個大規(guī)模的、專門的、高質(zhì)量的基準，用于深度跟蹤訓(xùn)練和跟蹤算法的真實評估。

圖1：常用跟蹤數(shù)據(jù)集統(tǒng)計示意圖。包括OTB-2013、OTB-2015、TC-128、NUS-PRO、UAV123、UAV20L、VOT-2014、VOT-2017和LaSOT。圓直徑與數(shù)據(jù)集的總幀數(shù)數(shù)成比例。所提出的LaSOT比所有其他基準都要大，并且專注于長期跟蹤。

觀察和比較不同的跟蹤算法發(fā)現(xiàn)，其進一步發(fā)展和評估受到現(xiàn)有評測集的限制，存在的問題主要包括：

1.規(guī)模小。現(xiàn)有數(shù)據(jù)集很少有超過400個序列，由于缺乏大規(guī)模的跟蹤數(shù)據(jù)集，很難使用跟蹤特定視頻訓(xùn)練深度跟蹤器。

2.短時跟蹤。理想的跟蹤器能夠在相對較長的時間內(nèi)定位目標(biāo)，目標(biāo)可能消失并重新進入視圖。然而，大多數(shù)現(xiàn)有的基準都集中在短期跟蹤上，其中平均序列長度小于600幀（即20秒左右），而且目標(biāo)幾乎總是出現(xiàn)在視頻幀中。

3.類別偏見。一個穩(wěn)健的跟蹤系統(tǒng)應(yīng)該表現(xiàn)出對目標(biāo)所屬類別的不敏感性，這意味著在訓(xùn)練和評估跟蹤算法時都應(yīng)該抑制類別偏差（或類別不平衡）。然而，現(xiàn)有的基準通常只包含幾個類別，視頻數(shù)量不平衡。

許多數(shù)據(jù)集被提議處理上述問題，然而，并都沒有解決所有的問題。

基于上述動機，他們?yōu)樯鐓^(qū)提供了一個新的大型單目標(biāo)跟蹤（LaSOT）基準，并提供了多方面的貢獻：

1. LaSOT包含1400個視頻，每個序列平均2512幀。每一幀都經(jīng)過仔細檢查和手動標(biāo)記，并在需要時對結(jié)果進行目視檢查和糾正。這樣，可以生成大約352萬個高質(zhì)量的邊界框注釋。

此外，LaSOT包含70個類別，每個類別包含20個序列。據(jù)了解，LaSOT是迄今為止最大的具有高質(zhì)量手動密集注釋的對象跟蹤數(shù)據(jù)集。

2. 與之前的數(shù)據(jù)集不同，LaSOT提供了可視化邊界框注釋和豐富的自然語言規(guī)范，這些規(guī)范最近被證明對各種視覺任務(wù)都是有益的，包括視覺跟蹤。這樣做的目標(biāo)是鼓勵和促進探索集成視覺和語言功能，以實現(xiàn)強大的跟蹤性能。

3. 為了評估現(xiàn)有的跟蹤器，并為將來在LaSOT上的比較提供廣泛的基準，團隊在不同的協(xié)議下評估了35個具有代表性的跟蹤器，并使用不同的指標(biāo)分析其性能。

LaSOT大規(guī)模多樣化的數(shù)據(jù)采集

LaSOT數(shù)據(jù)集的構(gòu)建遵循大規(guī)模、高質(zhì)量的密集注釋、長期跟蹤、類別平衡和綜合標(biāo)記五個原則。

LaSOT基準數(shù)據(jù)采集涵蓋了各種不同背景下的各種對象類別，包含70個對象類別。大多數(shù)類別是從ImageNet的1000個類別中選擇的，但少數(shù)例外（如無人機）是為流行的跟蹤應(yīng)用程序精心選擇的。以往的數(shù)據(jù)集通常含有的類別少于30個，并且一般分布不均勻。相比之下，LaSOT為每個類別提供相同數(shù)量的序列，以減輕潛在的類別偏差。

在確定了LaSOT中的70個對象類別之后，他們從YouTube中搜索了每個類的視頻。最初，他們收集了5000多個視頻?？紤]到追蹤視頻的質(zhì)量和LaSOT的設(shè)計原則，他們挑選了1400個視頻。但是，由于大量無關(guān)內(nèi)容，這1400個序列不能立即用于跟蹤任務(wù)。例如，對于個人類別的視頻（例如，運動員），它通常在開始時包含每個運動員的一些介紹內(nèi)容，這不適合跟蹤。因此，他們仔細過濾掉每個視頻中不相關(guān)的內(nèi)容，并保留一個可用于跟蹤的剪輯。此外，LaSOT的每一個分類都包含20個目標(biāo)，反映了自然場景中的分類平衡和多樣性。

最終，他們通過收集1400個序列和352萬幀的YouTube視頻，在Creative Commons許可下，編譯了一個大規(guī)模的數(shù)據(jù)集。LaSOT的平均視頻長度為2512幀（即30幀每秒84秒）。最短的視頻包含1000幀（即33秒），最長的視頻包含11397幀（即378秒）。

LaSOT提供可視化邊界框注釋

為了提供一致的邊界框注釋，團隊還定義了一個確定性注釋策略。對于具有特定跟蹤目標(biāo)的視頻，對于每個幀，如果目標(biāo)對象出現(xiàn)在幀中，則標(biāo)注者會手動繪制/編輯其邊界框，使其成為最緊的右邊界框，以適合目標(biāo)的任何可見部分；否則，標(biāo)注者會向幀提供一個“目標(biāo)不存在”的標(biāo)簽，無論是不可見還是完全遮擋。請注意，如任何其他數(shù)據(jù)集中所觀察到的那樣，這種策略不能保證最小化框中的背景區(qū)域。然而，該策略確實提供了一個一致的標(biāo)注，這對于學(xué)習(xí)物體的運動是相對穩(wěn)定的。

雖然上述策略在大多數(shù)情況下都很有效，但也存在例外情況。有些物體，例如老鼠，可能有細長和高度變形的部分，例如尾巴，這不僅會在物體的外觀和形狀上產(chǎn)生嚴重的噪聲，而且對目標(biāo)物體的定位提供很少的信息。他們在LaSOT中仔細識別這些對象和相關(guān)的視頻，并為它們的注釋設(shè)計特定的規(guī)則（例如，在繪制它們時不包括鼠標(biāo)的尾部）。

圖2：LaSOT示例序列和標(biāo)注

序列的自然語言規(guī)范由描述目標(biāo)的顏色、行為和環(huán)境的句子表示。對于LaSOT，他們?yōu)樗幸曨l提供1400個描述語句。請注意，語言描述旨在為跟蹤提供輔助幫助。例如，如果追蹤器生成進一步處理的建議，那么語言規(guī)范可以作為全局語義指導(dǎo)，幫助減少它們之間的模糊性。

構(gòu)建高質(zhì)量密集跟蹤數(shù)據(jù)集的最大努力顯然是手動標(biāo)記、雙重檢查和糾錯。為了完成這項任務(wù)，他們組建了一個注釋小組，包括幾個在相關(guān)領(lǐng)域工作的博士生和大約10名志愿者。

35個代表性跟蹤器的評估

他們沒有對如何使用LaSOT進行限制，但提出了兩種協(xié)議來評估跟蹤算法，并進行相應(yīng)的評估。

方案一：他們使用1400個序列來評估跟蹤性能。研究人員可以使用除了LaSOT中的序列以外的任何序列來開發(fā)跟蹤算法。方案一旨在對跟蹤器進行大規(guī)模評估。

方案二：他們將LaSOT劃分為訓(xùn)練和測試子集。根據(jù)80/20原則（即帕累托原則），他們從每類20個視頻中選出16個進行培訓(xùn)，其余的進行測試。具體來說，訓(xùn)練子集包含1120個視頻，2.83m幀，測試子集包含280個序列，690k幀。跟蹤程序的評估在測試子集上執(zhí)行。方案二的目標(biāo)是同時提供一大套視頻用于訓(xùn)練和評估跟蹤器。

根據(jù)流行的協(xié)議（如OTB-2015[53]），他們使用OPE作為量化評估標(biāo)準，并測量兩個協(xié)議下不同跟蹤算法的精度、標(biāo)準化精度和成功率。他們評估了LaSOT上的35種算法，以提供廣泛客觀的基準，Tab. 3按時間順序總結(jié)這些跟蹤器及其表示方案和搜索策略。

表3：已評估跟蹤程序的摘要。

方案一評估結(jié)果

方案一旨在對LaSot的1400個視頻進行大規(guī)模評估。每個跟蹤器都按原樣用于評估，沒有任何修改。他們使用精度、標(biāo)準化精度和成功率在OPE中報告評估結(jié)果，

圖3：利用精度、歸一化精度和成功率對一號方案下的算法量化評估。

圖4：在協(xié)議I下，追蹤器在三個最具挑戰(zhàn)性的屬性上的代表性結(jié)果。

圖5：六大典型挑戰(zhàn)序列上的的定性評價結(jié)果。

方案二評估結(jié)果

圖6：使用精度、標(biāo)準化精度和成功率對方案II下的跟蹤算法評估。

根據(jù)方案二，他們將LaSOT分為訓(xùn)練集和測試集。研究人員可以利用訓(xùn)練集中的序列來開發(fā)他們的跟蹤器，并評估他們在測試集中的表現(xiàn)。為了提供測試集的基線和比較，他們評估了35種跟蹤算法。每個跟蹤器都被用于評估，沒有任何修改或再培訓(xùn)。使用精度、歸一化精度和成功率的評價結(jié)果如圖6所示。

除了對每一種跟蹤算法進行評估外，他們還對兩種具有代表性的深跟蹤算法MDNET[42]和SIAMFC進行了重新培訓(xùn)，并對其進行了評估。評估結(jié)果表明，這些跟蹤器在沒有重訓(xùn)練的情況下具有相似的性能。一個潛在的原因是他們的重新培訓(xùn)可能和原作者使用配置不同。

他們對SiamFC的LaSOT訓(xùn)練集進行了再培訓(xùn)，以證明使用更多的數(shù)據(jù)如何改進基于深度學(xué)習(xí)的跟蹤器。Tab. 4報告了OTB-2013和OTB-2015的結(jié)果，并與在ImageNet視頻上培訓(xùn)的原始SIAMFC的性能進行了比較。請注意，使用彩色圖像進行培訓(xùn)，并應(yīng)用3個比例的金字塔進行跟蹤，即SIAMFC-3S（彩色）。表4為在LaSOT上對siamfc進行再培訓(xùn)。

跟蹤在這兩個實驗中保持不變。他們在兩個評測集上觀察到了一致的性能提升，顯示了針對深度追蹤器的特定大規(guī)模訓(xùn)練集的重要性。