東京工業(yè)大學(xué)開(kāi)發(fā)AI預(yù)測(cè)系統(tǒng) 可預(yù)測(cè)0.5秒后的動(dòng)作

預(yù)測(cè)這件事情的重要性不言而喻。畢竟如果你比別人提前知道信息就能夠搶占先機(jī)。

先不說(shuō)搶占先機(jī)這件事情，如果你能夠預(yù)測(cè)的對(duì)方接下來(lái)的動(dòng)作，至少下面這種情況不會(huì)發(fā)生。

現(xiàn)在，通過(guò)人工智能或許能夠改善一些。

近日，東京工業(yè)大學(xué)研究小組發(fā)布了一套格斗訓(xùn)練系統(tǒng)“FuturePose”，通過(guò)深度學(xué)習(xí)能預(yù)測(cè) 0.5 秒后對(duì)手的動(dòng)作。

在這項(xiàng)研究中，研究人員開(kāi)發(fā)了一套系統(tǒng)，通過(guò)從一個(gè) RGB 相機(jī)捕獲的圖像中，從 30 fps（1幀= 1/30秒）圖像中預(yù)測(cè)15幀后，即0.5秒后的動(dòng)作，然后進(jìn)行戰(zhàn)斗訓(xùn)練。對(duì)戰(zhàn)對(duì)手不同裝束，而受訓(xùn)者可以戴 VR 頭盔來(lái)同時(shí)觀察對(duì)手的當(dāng)前姿勢(shì)和預(yù)測(cè)的0.5秒后的姿勢(shì)。

首先，通過(guò)殘差網(wǎng)絡(luò)（學(xué)習(xí)輸出減去輸入殘差的機(jī)器學(xué)習(xí)）來(lái)分析RGB圖像，以估計(jì)對(duì)手的2D位置。該位置輸入到 LSTM（可以學(xué)習(xí)長(zhǎng)時(shí)序列數(shù)據(jù)的模型）以學(xué)習(xí)時(shí)序特征，并且預(yù)測(cè)未來(lái)的2D位置。

之后用網(wǎng)格光流（為向量來(lái)視覺(jué)化表示物體移動(dòng)。通過(guò)將物體網(wǎng)格化減少計(jì)算量），將我們使用晶格光流（它表示物體的運(yùn)動(dòng)作為視覺(jué)表示中的矢量。物體的復(fù)雜性通過(guò)晶格簡(jiǎn)化以減少計(jì)算量），將位置信息轉(zhuǎn)換成了人便于看的“運(yùn)動(dòng)”表示。

在視頻中，研究者分別進(jìn)行了走路、跳躍以及拳擊等動(dòng)作進(jìn)行了測(cè)試?

從上面可以看出，通過(guò)這種方式預(yù)測(cè)的姿勢(shì)由紅色骨架模型表示，同時(shí)人體運(yùn)動(dòng)的預(yù)測(cè)可以實(shí)時(shí)可視化。雖然0.5秒看起來(lái)很短，但實(shí)際上在早期的一些格斗游戲中，同樣 30 fps中因?yàn)橐粠鴮?dǎo)致勝負(fù)的情況也有，所以15幀可以說(shuō)是一個(gè)很大的優(yōu)勢(shì)。

之后在實(shí)驗(yàn)中，讓佩戴了HTC Vive的用戶(hù)在沒(méi)有預(yù)測(cè)和有預(yù)測(cè)兩種情況下進(jìn)行測(cè)試。結(jié)果是，沒(méi)有預(yù)測(cè)平均反應(yīng)時(shí)間是0.62秒，而有預(yù)測(cè)的響應(yīng)是大約0.41秒，這表明有預(yù)測(cè)的情況更容易避開(kāi)攻擊。

此外，在實(shí)際實(shí)驗(yàn)視頻中，確實(shí)反應(yīng)速度會(huì)增加，但在現(xiàn)實(shí)情況下，因?yàn)榇竽X處理視覺(jué)信息到身體反應(yīng)存在時(shí)滯，因此會(huì)造成還差一點(diǎn)點(diǎn)就能躲開(kāi)但是沒(méi)躲開(kāi)的感覺(jué)。雖然總能在超能力戰(zhàn)斗漫畫(huà)中看到“我能在幾秒內(nèi)看到未來(lái)”的敵人，但到底0.5秒還是太短了，可能還是得需要10多秒。

此外，該研究也適用于在線視頻，實(shí)驗(yàn)證明它也可以預(yù)測(cè)足球守門(mén)員的動(dòng)作和舞蹈的動(dòng)作。于是我們就可以期待各種各樣的應(yīng)用，比如觀眾在0.5秒前預(yù)測(cè)守門(mén)員是向左還是向右撲，還有在跳交際舞的時(shí)候通過(guò)預(yù)判對(duì)方的動(dòng)作，讓舞蹈更流暢。