視覺系統(tǒng)，不僅是用來看的，還能預(yù)測“未來”！

對于自動駕駛的視覺系統(tǒng)而言，“看”到路人是一個基礎(chǔ)工作，更重要的是，能否能像人類一樣，判斷出路人下一個動作將是什么。來自密歇根大學(xué)的團(tuán)隊(duì)，便研究了一種改進(jìn)算法，讓自動駕駛視覺系統(tǒng)能夠?qū)β啡说男袨檫M(jìn)行預(yù)測。

視覺系統(tǒng)，不僅是用來看的，還能預(yù)測“未來”！

密歇根大學(xué)(University of Michigan)向來以自動駕駛汽車技術(shù)聞名，最近，他們又有了大動作——研究一種改進(jìn)的算法，來預(yù)測路上行人的動作。

這種算法不僅考慮了行人在做什么，還考慮了他們是如何做的。這種肢體語言對于預(yù)測一個人接下來要做什么是至關(guān)重要的。

Arxiv地址：

https://arxiv.org/pdf/1809.03705.pdf

IEEE地址：

https://ieeexplore.ieee.org/document/8626436

密歇根大學(xué)團(tuán)隊(duì)將研究成果發(fā)布在了Arxiv及IEEE中，有興趣的讀者可以訪問上方或者文末鏈接進(jìn)行詳讀。

本文提出了一種基于生物力學(xué)的遞歸神經(jīng)網(wǎng)絡(luò)(Bio-LSTM)，該網(wǎng)絡(luò)可以在全局坐標(biāo)系下預(yù)測行人的位置和三維關(guān)節(jié)體位姿，該網(wǎng)絡(luò)能夠同時預(yù)測多個行人的姿態(tài)和全局位置，以及距離攝像機(jī)45米以內(nèi)的行人(城市交叉口規(guī)模)。

“看”到更細(xì)節(jié)的動作，預(yù)測路人行動

關(guān)注路上行人并預(yù)測他們將要做什么是任何自動駕駛視覺系統(tǒng)的重要組成部分。

讓自動駕駛車輛理解路上行人的存在，并分析一些細(xì)節(jié)信息，會對車輛一下步如何操作產(chǎn)生巨大的影響。

有些公司宣稱其自動駕駛車輛的視覺系統(tǒng)，在這樣或那樣的范圍/條件下可以看到并標(biāo)記“人”，但目前很少人提出，可以看到并標(biāo)記像“手勢”或“姿勢”這樣更為細(xì)節(jié)的部分。

這種視覺算法可以(盡管現(xiàn)在不太可能)像識別一個人并觀察他在幾幀內(nèi)移動了多少像素那樣簡單，然后從那個節(jié)點(diǎn)進(jìn)行推斷。但人類的運(yùn)動自然要比這復(fù)雜得多。

UM的新系統(tǒng)使用激光雷達(dá)和立體攝像機(jī)系統(tǒng)，不僅可以估計(jì)一個人的軌跡，還可以估計(jì)他們的姿勢和步態(tài)：

姿勢可以表明一個人是否在靠近或遠(yuǎn)離汽車、是否在使用拐杖、是否在彎腰接電話等等；

步態(tài)不僅表示速度，也表示意圖。

例如，路人將頭轉(zhuǎn)向他們肩膀方向時，他們可能接下來會轉(zhuǎn)身，或者只是看了一眼肩膀然后繼續(xù)向前走；路人伸出手臂，他們可能在向某人(或車輛)發(fā)出停車信號。

這些額外的數(shù)據(jù)將有助于視覺系統(tǒng)對動作的預(yù)測，使得導(dǎo)航規(guī)劃和防止意外事件更加完備。

更重要的是，它只需要幾個框架就可以很好地完成工作——可能只需要包括單步和手臂的擺動。

這就足以做出一個輕松擊敗簡單模型的預(yù)測，這是一種關(guān)鍵的性能衡量指標(biāo)。