對光流的學習和跟蹤是計算機視覺領域的基本任務。在3D目標跟蹤、處理和重建等實際任務中,經(jīng)常需要對被遮擋的光流進行預測。本文介紹在CVPR2019上發(fā)表的一篇論文,在多個數(shù)據(jù)集的光流預測任務上大幅提升了預測性能。
光流是計算機視覺的一個基本任務,它描述了視頻中的運動信息,相關技術廣泛應用于視頻理解和處理、物體跟蹤、三維重建、自動駕駛等場景。近日,來自香港中文大學和騰訊AI實驗室團隊的一篇論文入選了CVPR2019。
論文題為《一種自監(jiān)督的光流學習方法》。論文團隊探索了使用卷積神經(jīng)網(wǎng)絡估計光流的一個關鍵挑戰(zhàn):預測被遮擋像素的光流。
論文地址:
https://arxiv.org/abs/1904.09117
論文第一作者劉鵬鵬詳細闡述了該論文的意義:“首先,我們提出了一種從沒有標注的數(shù)據(jù)中學習光流的自監(jiān)督訓練框架。這個方法會人為創(chuàng)造一些遮擋,然后利用已經(jīng)學習到的比較準確的沒有被遮擋像素的光流去指導神經(jīng)網(wǎng)絡學習被遮擋像素的光流。其次,我們設計一個可以利用多幀圖像時序連續(xù)性的網(wǎng)絡結構來更好地學習光流。
基于這兩個原則,我們的方法在MPI Sintel, KITTI 2012和KITTI 2015等數(shù)據(jù)集上取得了最好的無監(jiān)督學習效果。更重要的是,我們的無監(jiān)督方法得到的模型為有監(jiān)督的微調(diào)提供了一個很好的初始化,消除了訓練光流神經(jīng)網(wǎng)絡對仿真數(shù)據(jù)的依賴。經(jīng)過有監(jiān)督微調(diào),我們的模型在以上三個數(shù)據(jù)集上取得了目前最優(yōu)的性能,這是光流研究歷史上第一次不使用額外仿真數(shù)據(jù)達到的最高準確度。
我們在寫這篇文章的時候(2018年11月),我們的模型在Sintel評測集上取得EPE=4.26,超過來自世界各地研究機構的所有180多種已經(jīng)提交的方法。直到今天,我們的算法在Sintel榜單上還是第一?!?/p>
自監(jiān)督光流學習框架SelFlow:刷新多項預測精度紀錄
表1:與基于最先進學習的光流估計方法的比較。我們的方法優(yōu)于所有數(shù)據(jù)集上的所有無監(jiān)督光流學習方法。我們的監(jiān)督微調(diào)模型在Sintel Final數(shù)據(jù)集和KITTI 2012數(shù)據(jù)集上實現(xiàn)了最高精度。除KITTI 2012和KITTI 2015測試集的最后一列外,所有數(shù)字均為EPE,我們報告了所有像素(Fl-all)上的錯誤像素百分比。( - )表示未報告相應方法的結果。括號表示訓練和測試是在同一數(shù)據(jù)集上執(zhí)行的。粗體字為無監(jiān)督和監(jiān)督方法中的最佳結果。
圖2 在每個級別的網(wǎng)絡架構(類似于PWC-Net)。˙wl表示水平l的初始粗流,F(xiàn) l表示翹曲的特征表示。在每個級別,將初始流量和成本量作為輸入交換,以便同時估計前向流量和后向流量。再將這些估計傳遞到l-1層上,估計更高分辨率的流。
圖3 多幀自訓練的數(shù)據(jù)流。為了估計三幀流學習的遮擋圖,我們使用五個圖像作為輸入。這樣,我們可以進行前后一致性檢查,以分別估計I t和I t + 1之間,I t和I t-1之間的遮擋圖。
圖4 在Sintel和KITTI數(shù)據(jù)集上對無監(jiān)督結果進行抽樣。圖中由上至下依次為在Sintel Final,KITTI 2012和KITTI 2015數(shù)據(jù)集上的取樣。
圖5 在Sintel Clean培訓和Sintel Final測試數(shù)據(jù)集的不同設置下的定性比較。遮擋處理,多幀制定和自我監(jiān)督不斷提高性能
實驗結果與分析:多項數(shù)據(jù)集預測性能顯著提升
如表1所示,我們在所有評估指標下的所有數(shù)據(jù)集上實現(xiàn)了無監(jiān)督和監(jiān)督光流學習的最新結果。圖4所示為Sintel和KITTI的樣本結果。
無監(jiān)督學習
本文中的方法在基準測試中實現(xiàn)了無監(jiān)督學習方法的最高精度。在Sintel Final基準測試中,將之前的最佳EPE從7.40 降低到6.57,相對提升幅度為11.2%。這甚至比包括FlowNetS,F(xiàn)lowNetC和SpyNet在內(nèi)的幾種完全監(jiān)督方法更優(yōu)秀。在KITTI數(shù)據(jù)集上的改進更為明顯。
對于訓練數(shù)據(jù)集,我們實現(xiàn)了EPE = 1.69,KITTI 2012的相對改進幅度為28.1%,EPE = 4.84,與之前最佳無監(jiān)督方法DDFlow相比,KITTI 2015的相對改進為15.3%。在KITTI 2012測試集中,實現(xiàn)了Fl-all = 7.68%,這比包括FlowNet2,PWC-Net,ProFlow和MFF在內(nèi)的最先進的監(jiān)督學習方法實現(xiàn)了更好的性能。在KITTI 2015基準測試中,實現(xiàn)了Fl-all=14.19%,優(yōu)于所有無監(jiān)督方法。其中一些無監(jiān)督學習的結果也優(yōu)于一些完全監(jiān)督的方法,包括DCFlow和ProFlow等。
監(jiān)督式微調(diào)
使用Ground-truth流程進一步對無監(jiān)督學習模型進行微調(diào)后,模型在所有三個數(shù)據(jù)集上都獲得了最先進的結果,KITTI 2012上的Fl-all = 6.19%,KITTI 2015上的Fl-all = 8.42%。最重要的是,我們的方法在Sintel Final數(shù)據(jù)集上實現(xiàn)了EPE = 4.26 ,在所有提交的方法中實現(xiàn)Sintel了基準測試的最高精度。所有這些都表明,我們的方法減少了預訓練對合成數(shù)據(jù)集的依賴,不必再遵循不同數(shù)據(jù)集來專門制定訓練計劃。
結論與未來方向:有效降低對標記數(shù)據(jù)集的依賴
本文提出了一種自我監(jiān)督的方法來學習準確的光流估計,此方法將噪聲注入到超級像素中以創(chuàng)建遮擋,讓一個模型引導另一個模型來學習遮擋像素的光流。我們通過簡單的CNN有效地聚合來自多個幀的時間信息,改進流量預測精度。大量實驗表明,我們的方法明顯優(yōu)于所有現(xiàn)有的無監(jiān)督光流學習方法。在使用我們的無監(jiān)督模型進行微調(diào)后,模型在所有領先的基準測試中實現(xiàn)了最先進的流量估算精度結果。我們的研究可以完全降低預訓練過程對合成標記數(shù)據(jù)集的依賴,并通過對未標記數(shù)據(jù)進行自監(jiān)督的預訓練,實現(xiàn)優(yōu)異的預測性能。
-
神經(jīng)網(wǎng)絡
+關注
關注
42文章
4729瀏覽量
100347 -
計算機視覺
+關注
關注
8文章
1690瀏覽量
45883 -
數(shù)據(jù)集
+關注
關注
4文章
1199瀏覽量
24595
原文標題:港中大等打造光流預測新模型SelFlow,自監(jiān)督學習攻克遮擋難題 | CVPR 2019
文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
相關推薦
評論