什么是主動視覺跟蹤？讓目標(biāo)與跟蹤器“斗起來”

本文是ICLR2019入選論文《AD-VAT: An Asymmetric Dueling mechanism for learning Visual Active Tracking》的深入解讀。該論文由北京大學(xué)數(shù)字視頻編解碼技術(shù)國家工程實驗室博士生鐘方威、嚴(yán)汀沄在王亦洲老師和騰訊AI Lab研究員孫鵬、羅文寒的指導(dǎo)下合作完成。該研究也入選了2018騰訊AI Lab犀牛鳥專項研究計劃。

什么是主動視覺跟蹤？

主動視覺跟蹤（Visual Active Tracking）是指智能體根據(jù)視覺觀測信息主動控制相機的移動，從而實現(xiàn)對目標(biāo)物體的跟蹤（與目標(biāo)保持特定距離）。主動視覺跟蹤在很多真實機器人任務(wù)中都有需求，如用無人機跟拍目標(biāo)拍攝視頻，智能跟隨旅行箱等。要實現(xiàn)主動視覺跟蹤，智能體需要執(zhí)行一系列的子任務(wù)，如目標(biāo)識別、定位、運動估計和相機控制等。

然而，傳統(tǒng)的視覺跟蹤方法的研究僅僅專注于從連續(xù)幀中提取出關(guān)于目標(biāo)的2D包圍框，而沒有考慮如何主動控制相機移動。因此，相比于這種“被動”跟蹤，主動視覺跟蹤更有實際應(yīng)用價值，但也帶來了諸多挑戰(zhàn)。

左圖：一個機器人主動跟隨目標(biāo)移動（圖片來自網(wǎng)絡(luò)）

右圖：對比基于強化學(xué)習(xí)的端到端主動跟蹤和傳統(tǒng)的跟蹤方法[1]

深度強化學(xué)習(xí)方法有前景，但仍有局限性

在前期的工作[1][2]中，作者提出了一種用深度強化學(xué)習(xí)訓(xùn)練端到端的網(wǎng)絡(luò)來完成主動視覺跟蹤的方法，不僅節(jié)省了額外人工調(diào)試控制器的精力，而且取得了不錯的效果，甚至能夠直接遷移到簡單的真實場景中工作。

然而，這種基于深度強化學(xué)習(xí)訓(xùn)練的跟蹤器的性能一定程度上仍然受限于訓(xùn)練的方法。因為深度強化學(xué)習(xí)需要通過大量試錯來進行學(xué)習(xí)，而直接讓機器人在真實世界中試錯的代價是高昂的。一種常用的解決方案是使用虛擬環(huán)境進行訓(xùn)練，但這種方法最大的問題是如何克服虛擬和現(xiàn)實之間的差異，使得模型能夠部署到真實應(yīng)用當(dāng)中。雖然已經(jīng)有一些方法嘗試去解決這個問題，如構(gòu)建大規(guī)模的高逼真虛擬環(huán)境用于視覺導(dǎo)航的訓(xùn)練，將各個因素（表面紋理/光照條件等）隨機化擴增環(huán)境的多樣性。

對于主動視覺跟蹤的訓(xùn)練問題，不僅僅前背景物體外觀的多樣性，目標(biāo)運動軌跡的復(fù)雜程度也將直接影響跟蹤器的泛化能力?？梢钥紤]一種極端的情況：如果訓(xùn)練時目標(biāo)只往前走，那么跟蹤器自然不會學(xué)會適應(yīng)其它的運動軌跡，如急轉(zhuǎn)彎。但對目標(biāo)的動作、軌跡等因素也進行精細建模將會是代價高昂的且無法完全模擬所有真實情況。

讓目標(biāo)與跟蹤器“斗起來”

因此，作者提出了一種基于對抗博弈的強化學(xué)習(xí)框架用于主動視覺跟蹤的訓(xùn)練，稱之為AD-VAT（Asymmetric Dueling mechanism for learning Visual Active Tracking）。

在這個訓(xùn)練機制中，跟蹤器和目標(biāo)物體被視作一對正在“決斗”的對手（見下圖），也就是跟蹤器要盡量跟隨目標(biāo)，而目標(biāo)要想辦法脫離跟蹤。這種競爭機制，使得他們在相互挑戰(zhàn)對方的同時相互促進共同提升。

當(dāng)目標(biāo)在探索逃跑策略時，會產(chǎn)生大量多種多樣的運動軌跡，并且這些軌跡往往會是當(dāng)前跟蹤器仍不擅長的。

在這種有對抗性的目標(biāo)的驅(qū)動下，跟蹤器的弱點將更快地暴露隨之進行強化學(xué)習(xí)，最終使得其魯棒性得到顯著提升。

在訓(xùn)練過程中，因為跟蹤器和目標(biāo)的能力都是從零開始同步增長的，所以他們在每個訓(xùn)練階段都能夠遇到一個能力相當(dāng)?shù)膶κ峙c之競爭，這就自然得構(gòu)成了從易到難的課程，使得學(xué)習(xí)過程更加高效。

然而，直接構(gòu)造成零和游戲進行對抗訓(xùn)練是十分不穩(wěn)定且難以收斂的。

AD-VAT概覽

如何讓對抗更加高效且穩(wěn)定？

為解決訓(xùn)練的問題，作者提出了兩個改進方法：不完全零和的獎賞函數(shù)（partial zero-sum reward）和用于目標(biāo)的跟蹤可知模型（tracker-aware model）。

不完全零和獎賞是一種混合的獎賞結(jié)構(gòu)，僅鼓勵跟蹤器和目標(biāo)在一定相對范圍內(nèi)進行零和博弈，當(dāng)目標(biāo)到達一定距離外時給予其額外的懲罰，此時將不再是零和博弈，因此稱之為不完全零和獎賞。

這么設(shè)計獎賞函數(shù)是為了避免一個現(xiàn)象，當(dāng)目標(biāo)快速遠離跟蹤器時，跟蹤器將不能觀察到目標(biāo)，以至于訓(xùn)練過程變得低效甚至不穩(wěn)定。

上式為跟蹤器的獎賞函數(shù)，沿用了[1]中的設(shè)計思想，懲罰項由期望位置與目標(biāo)之間的距離所決定。

上式為目標(biāo)的獎賞函數(shù)，在觀測范圍內(nèi)，目標(biāo)與跟蹤器進行零和博弈，即獎賞函數(shù)為跟蹤器的獎賞直接取負。在觀測范圍外，將在原來的基礎(chǔ)上得到一個額外的懲罰項，懲罰項的取值取決于目標(biāo)與跟蹤器的觀測邊界的距離。

跟蹤可知模型是為了讓目標(biāo)能夠針對跟蹤策略學(xué)會更優(yōu)的對抗策略，所謂“知己知彼，百戰(zhàn)不殆”。具體的，除了其自身的視覺觀測外，還額外獲得了跟蹤器的觀測和動作輸出作為模型的輸入。

為了更好地學(xué)習(xí)關(guān)于跟蹤器的特征表示，作者還引入了一個輔助任務(wù)：預(yù)測跟蹤器的即時獎賞值。

基于以上改進，“決斗（Dueling）”雙方在觀測信息、獎賞函數(shù)、目標(biāo)任務(wù)上將具備不對稱性（Asymmetric），因此將這種對抗機制稱之為“非對稱決斗（Asymmetric Dueling）”。

實驗環(huán)境

作者在多種不同的2D和3D環(huán)境開展了實驗以更進一步驗證該方法的有效性。2D環(huán)境是一個簡單的矩陣地圖，用不同的數(shù)值分別表示障礙物、目標(biāo)、跟蹤器等元素。

作者設(shè)計了兩種規(guī)則生成地圖中的障礙物分布（Block, Maze）。作者設(shè)計了兩種基于規(guī)則的目標(biāo)運動模型作為基準(zhǔn)：漫步者（Rambler）和導(dǎo)航者（Navigator）。

漫步者是隨機從選擇動作和持續(xù)的時間，生成的軌跡往往在一個局域范圍內(nèi)移動（見Block-Ram中的黃色軌跡）。

導(dǎo)航者則是從地圖中隨機采樣目標(biāo)點，然后沿著最短路徑到達目標(biāo)，因此導(dǎo)航者將探索更大范圍（見Block-Nav中的黃色軌跡）。

將這些不同種的地圖和目標(biāo)依次組合，構(gòu)成了不同的訓(xùn)練和測試環(huán)境。作者只用其中的一種地圖（Block）用作訓(xùn)練，然后在所有可能的組合環(huán)境中測試，從而證明模型的泛化能力。

3D環(huán)境是基于UE4和UnrealCV[3]構(gòu)建的虛擬環(huán)境。作者只用一個采取域隨機技術(shù)（環(huán)境中物體表面紋理、光照條件都可以進行隨機設(shè)置）的房間（DR Room, Domain Randomized Room）進行訓(xùn)練，然后在三個不同場景的近真實場景中測試模型的性能。

實驗結(jié)果

在2D環(huán)境中，作者首先驗證了AD-VAT相比基準(zhǔn)方法能夠帶來有效提升，同時進行了消融實驗來證明兩個改進方法的有效性。

左圖為AD-VAT（藍線）和基準(zhǔn)方法在2D環(huán)境中的訓(xùn)練曲線，可見AD-VAT能夠讓跟蹤器學(xué)得更快更好。右圖為消融實驗的結(jié)果，對比刪減不同模塊后的學(xué)習(xí)曲線，作者提出的兩個改進方法能夠使對抗強化學(xué)習(xí)的訓(xùn)練更高效。

作者在3D環(huán)境中的實驗更進一步證明該方法的有效性和實用性。

在訓(xùn)練過程中，作者觀測到了一個有趣的現(xiàn)象，目標(biāo)會更傾向于跑到背景與其自身紋理接近的區(qū)域，以達到一種“隱身”的效果來迷惑跟蹤器。而跟蹤器在被不斷“難倒”后，最終學(xué)會了適應(yīng)這些情況。

作者對比了由AD-VAT和兩種基準(zhǔn)方法訓(xùn)練的跟蹤器在不同場景中的平均累計獎賞（左圖）和平均跟蹤長度（右圖）。

其中，雪鄉(xiāng)（Snow Village）和地下停車場（Parking Lot）是兩個十分有挑戰(zhàn)性的環(huán)境，每個模型的性能都有不同程度的下降，但該論文提出的模型取得了更好的結(jié)果，說明了AD-VAT跟蹤器對復(fù)雜場景的適應(yīng)能力更強。

雪鄉(xiāng)主要的挑戰(zhàn)在于地面崎嶇不平，且相機會被下落的雪花、逆光的光暈等因素干擾導(dǎo)致目標(biāo)被遮擋：

左圖為跟蹤器第一人稱視角，右圖為第三人稱視角

停車場中光線分布不均勻（亮暗變化劇烈），且目標(biāo)可能被立柱遮擋：

左圖為跟蹤器第一人稱視角，右圖為第三人稱視角