深蘭科技DeepBlueAI團(tuán)隊(duì)斬獲低分辨率視頻行為識別挑戰(zhàn)賽的冠軍

導(dǎo)讀近日，全球三大計(jì)算機(jī)視覺頂級會議之一CVPR如期舉行，深蘭科技DeepBlueAI團(tuán)隊(duì)斬獲TinyAction Challenge（低分辨率視頻行為識別挑戰(zhàn)賽）的冠軍。

TinyAction Challenge是第六屆動作識別國際挑戰(zhàn)賽系列競賽之一，該系列競賽由CVPR2021 International Challenge on Activity Recognition （ActivityNet） workshop 主辦，旨在推動視頻理解的進(jìn)一步發(fā)展。

冠軍方案解讀

賽題介紹

TinyAction Challenge使用TinyVirat-v2［1］數(shù)據(jù)集，旨在提高低分辨率高噪聲等真實(shí)監(jiān)控場景下的視頻行為識別能力。比賽提供大量真實(shí)場景視頻片段及標(biāo)注，每個視頻片段中可能含有多個動作，本質(zhì)是一個多標(biāo)簽的行為識別任務(wù)，比賽結(jié)果采用precision、recall、F1-score等多個指標(biāo)來評測。

賽題難點(diǎn)

視頻分辨率很低，最小只有10x10像素尺度；

視頻尺度多樣，從10x10到128x128不等；

視頻質(zhì)量較差，含有大量噪聲；

視頻場景多樣，行為多樣，每個視頻可能含有多個行為。

解決方案

在算法選擇上，團(tuán)隊(duì)廣泛嘗試了TSM［2］、TPN-Slowonly［3］等經(jīng)典算法，最終采用交互移除的CSN［4］（ir-CSN）模型，在保證性能的前提下適當(dāng)減少計(jì)算量，同時減輕對數(shù)據(jù)的過擬合。

數(shù)據(jù)增強(qiáng)方面，訓(xùn)練時團(tuán)隊(duì)首先隨機(jī)調(diào)整尺度裁剪，再統(tǒng)一調(diào)整尺度到128x128，最后再隨機(jī)翻轉(zhuǎn)。而在測試時，通過Tencrop，即對視頻幀及其水平翻轉(zhuǎn)在中心與四角區(qū)域分別裁剪求平均，有效提高了inference時單模型性能。

測試階段團(tuán)隊(duì)進(jìn)一步使用了五折交叉驗(yàn)證的模型融合方法。另外由于觀察到在比賽數(shù)據(jù)集的26類行為中有些類別是互斥的，因而對最終的結(jié)果添加了后處理規(guī)則，使得F1指標(biāo)進(jìn)一步提高0.6個點(diǎn)。通過一步步優(yōu)化，DeepBlueAI團(tuán)隊(duì)單模型的F1指標(biāo)即超過了第二名達(dá)到0.4447，并最終達(dá)到0.4782，實(shí)現(xiàn)大幅度領(lǐng)先。

總結(jié)

在本次比賽中，團(tuán)隊(duì)對任務(wù)及數(shù)據(jù)做了仔細(xì)的分析，合理地選擇了模型算法，進(jìn)行了精細(xì)的模型訓(xùn)練，同時在數(shù)據(jù)的后處理上做了大量的優(yōu)化，有效實(shí)現(xiàn)了低分辨率高噪聲視頻中行為識別，并最終獲得冠軍。相信隨著計(jì)算機(jī)視覺及多模態(tài)技術(shù)的深入發(fā)展，行為識別等視頻理解問題能夠得到更好的解決，并獲得越來越廣泛的實(shí)際應(yīng)用。

參考文獻(xiàn)：

［1］ Demir U， Rawat Y S， Shah M. TinyVIRAT： low-resolution video action recognition［C］//2020 25th International Conference on Pattern Recognition （ICPR）。 IEEE， 2021： 7387-7394

［2］ Yang C， Xu Y， Shi J， et al. Temporal pyramid network for action recognition［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020： 591-600.

［3］ Lin J， Gan C， Han S. TSM： Temporal Shift Module for Efficient Video Understanding［C］// 2019 IEEE/CVF International Conference on Computer Vision （ICCV）。 IEEE， 2019.

［4］ Du T， Wang H， Feiszli M， et al. Video Classification With Channel-Separated Convolutional Networks［C］// International Conference on Computer Vision. 0.

編輯：jq