在多個數(shù)據(jù)集的光流預測任務上大幅提升了預測性能

對光流的學習和跟蹤是計算機視覺領域的基本任務。在3D目標跟蹤、處理和重建等實際任務中，經(jīng)常需要對被遮擋的光流進行預測。本文介紹在CVPR2019上發(fā)表的一篇論文，在多個數(shù)據(jù)集的光流預測任務上大幅提升了預測性能。

光流是計算機視覺的一個基本任務，它描述了視頻中的運動信息，相關技術廣泛應用于視頻理解和處理、物體跟蹤、三維重建、自動駕駛等場景。近日，來自香港中文大學和騰訊AI實驗室團隊的一篇論文入選了CVPR2019。

論文題為《一種自監(jiān)督的光流學習方法》。論文團隊探索了使用卷積神經(jīng)網(wǎng)絡估計光流的一個關鍵挑戰(zhàn)：預測被遮擋像素的光流。

論文地址：

https://arxiv.org/abs/1904.09117

論文第一作者劉鵬鵬詳細闡述了該論文的意義：“首先，我們提出了一種從沒有標注的數(shù)據(jù)中學習光流的自監(jiān)督訓練框架。這個方法會人為創(chuàng)造一些遮擋，然后利用已經(jīng)學習到的比較準確的沒有被遮擋像素的光流去指導神經(jīng)網(wǎng)絡學習被遮擋像素的光流。其次，我們設計一個可以利用多幀圖像時序連續(xù)性的網(wǎng)絡結構來更好地學習光流。

基于這兩個原則，我們的方法在MPI Sintel, KITTI 2012和KITTI 2015等數(shù)據(jù)集上取得了最好的無監(jiān)督學習效果。更重要的是，我們的無監(jiān)督方法得到的模型為有監(jiān)督的微調(diào)提供了一個很好的初始化，消除了訓練光流神經(jīng)網(wǎng)絡對仿真數(shù)據(jù)的依賴。經(jīng)過有監(jiān)督微調(diào)，我們的模型在以上三個數(shù)據(jù)集上取得了目前最優(yōu)的性能，這是光流研究歷史上第一次不使用額外仿真數(shù)據(jù)達到的最高準確度。

我們在寫這篇文章的時候（2018年11月），我們的模型在Sintel評測集上取得EPE=4.26，超過來自世界各地研究機構的所有180多種已經(jīng)提交的方法。直到今天，我們的算法在Sintel榜單上還是第一?！?/p>

自監(jiān)督光流學習框架SelFlow：刷新多項預測精度紀錄

表1：與基于最先進學習的光流估計方法的比較。我們的方法優(yōu)于所有數(shù)據(jù)集上的所有無監(jiān)督光流學習方法。我們的監(jiān)督微調(diào)模型在Sintel Final數(shù)據(jù)集和KITTI 2012數(shù)據(jù)集上實現(xiàn)了最高精度。除KITTI 2012和KITTI 2015測試集的最后一列外，所有數(shù)字均為EPE，我們報告了所有像素（Fl-all）上的錯誤像素百分比。（ - ）表示未報告相應方法的結果。括號表示訓練和測試是在同一數(shù)據(jù)集上執(zhí)行的。粗體字為無監(jiān)督和監(jiān)督方法中的最佳結果。

圖2 在每個級別的網(wǎng)絡架構（類似于PWC-Net）。˙wl表示水平l的初始粗流，F(xiàn) l表示翹曲的特征表示。在每個級別，將初始流量和成本量作為輸入交換，以便同時估計前向流量和后向流量。再將這些估計傳遞到l-1層上，估計更高分辨率的流。

圖3 多幀自訓練的數(shù)據(jù)流。為了估計三幀流學習的遮擋圖，我們使用五個圖像作為輸入。這樣，我們可以進行前后一致性檢查，以分別估計I t和I t + 1之間，I t和I t-1之間的遮擋圖。

圖4 在Sintel和KITTI數(shù)據(jù)集上對無監(jiān)督結果進行抽樣。圖中由上至下依次為在Sintel Final，KITTI 2012和KITTI 2015數(shù)據(jù)集上的取樣。

圖5 在Sintel Clean培訓和Sintel Final測試數(shù)據(jù)集的不同設置下的定性比較。遮擋處理，多幀制定和自我監(jiān)督不斷提高性能

實驗結果與分析：多項數(shù)據(jù)集預測性能顯著提升

如表1所示，我們在所有評估指標下的所有數(shù)據(jù)集上實現(xiàn)了無監(jiān)督和監(jiān)督光流學習的最新結果。圖4所示為Sintel和KITTI的樣本結果。

無監(jiān)督學習

本文中的方法在基準測試中實現(xiàn)了無監(jiān)督學習方法的最高精度。在Sintel Final基準測試中，將之前的最佳EPE從7.40 降低到6.57，相對提升幅度為11.2％。這甚至比包括FlowNetS，F(xiàn)lowNetC和SpyNet在內(nèi)的幾種完全監(jiān)督方法更優(yōu)秀。在KITTI數(shù)據(jù)集上的改進更為明顯。

對于訓練數(shù)據(jù)集，我們實現(xiàn)了EPE = 1.69，KITTI 2012的相對改進幅度為28.1％，EPE = 4.84，與之前最佳無監(jiān)督方法DDFlow相比，KITTI 2015的相對改進為15.3％。在KITTI 2012測試集中，實現(xiàn)了Fl-all = 7.68％，這比包括FlowNet2，PWC-Net，ProFlow和MFF在內(nèi)的最先進的監(jiān)督學習方法實現(xiàn)了更好的性能。在KITTI 2015基準測試中，實現(xiàn)了Fl-all=14.19％，優(yōu)于所有無監(jiān)督方法。其中一些無監(jiān)督學習的結果也優(yōu)于一些完全監(jiān)督的方法，包括DCFlow和ProFlow等。

監(jiān)督式微調(diào)

使用Ground-truth流程進一步對無監(jiān)督學習模型進行微調(diào)后，模型在所有三個數(shù)據(jù)集上都獲得了最先進的結果，KITTI 2012上的Fl-all = 6.19％，KITTI 2015上的Fl-all = 8.42％。最重要的是，我們的方法在Sintel Final數(shù)據(jù)集上實現(xiàn)了EPE = 4.26 ，在所有提交的方法中實現(xiàn)Sintel了基準測試的最高精度。所有這些都表明，我們的方法減少了預訓練對合成數(shù)據(jù)集的依賴，不必再遵循不同數(shù)據(jù)集來專門制定訓練計劃。

結論與未來方向：有效降低對標記數(shù)據(jù)集的依賴

本文提出了一種自我監(jiān)督的方法來學習準確的光流估計，此方法將噪聲注入到超級像素中以創(chuàng)建遮擋，讓一個模型引導另一個模型來學習遮擋像素的光流。我們通過簡單的CNN有效地聚合來自多個幀的時間信息，改進流量預測精度。大量實驗表明，我們的方法明顯優(yōu)于所有現(xiàn)有的無監(jiān)督光流學習方法。在使用我們的無監(jiān)督模型進行微調(diào)后，模型在所有領先的基準測試中實現(xiàn)了最先進的流量估算精度結果。我們的研究可以完全降低預訓練過程對合成標記數(shù)據(jù)集的依賴，并通過對未標記數(shù)據(jù)進行自監(jiān)督的預訓練，實現(xiàn)優(yōu)異的預測性能。