預(yù)測圖像如何影響視覺反應(yīng)速度

想象一下，當(dāng)你沿著一條路行駛時，一個障礙突然出現(xiàn)在你的路上。你能多快做出反應(yīng)？你的反應(yīng)速度如何隨時間、障礙物的顏色以及它在你視野中的位置而變化？

對視覺事件做出快速反應(yīng)的能力對日常生活很有價值。它也是快節(jié)奏視頻游戲中的一項基本技能。 NVIDIA 、紐約大學(xué)和普林斯頓大學(xué)的研究人員最近進(jìn)行了合作 – SIGGRAPH 2022 年技術(shù)論文獎得主 – 探索圖像特征與觀察者反應(yīng)所需時間之間的關(guān)系。

反應(yīng)速度和視覺事件

隨著顯示技術(shù)的不斷進(jìn)步，人類的反應(yīng)時間已經(jīng)成為圖形管道中的主要瓶頸。與遠(yuǎn)程服務(wù)器通信、渲染和顯示圖像以及收集和處理鼠標(biāo)或鍵盤輸入的響應(yīng)時間通常為幾十毫秒或更短。

相比之下，人類感知的管道要慢得多，根據(jù)視覺輸入的復(fù)雜程度，可以在 100 到 500 毫秒之間。這項研究旨在簡化和優(yōu)化圖像，盡可能減少我們的反應(yīng)時間。

視覺對比度和空間頻率是影響低水平視覺的眾所周知的特征。此外，人類的視覺在整個視野中并不均勻。提高反應(yīng)時間所需的對比度取決于偏心率、視角（物體相對于中心視線的位置）和空間頻率（例如，物體是純色還是復(fù)雜圖案）。反應(yīng)時間是許多神經(jīng)過程的組合，所提出的模型包括所有這些因素。

反應(yīng)時間測量基于稱為掃視的自愿快速眼動的起始潛伏期。目標(biāo)一出現(xiàn)在屏幕上，“反應(yīng)時間時鐘”就開始滴答作響。一旦識別出目標(biāo)，就開始向其掃視。

掃視反應(yīng)模型

為了建立一個感知準(zhǔn)確的反應(yīng)時間預(yù)測模型，研究人員對人類觀察者進(jìn)行了一系列實驗，收集了 11000 多個不同圖像特征的反應(yīng)時間。

受人腦感知信息和決策方式的啟發(fā)，研究人員設(shè)計了一個反應(yīng)時間預(yù)測模型，考慮了對比度、頻率和偏心率，以及人類反應(yīng)速度的內(nèi)在隨機(jī)性。

在這個模型中，隨著時間的推移，“決策置信度”的量度會累積，一旦累積了足夠的置信度，就會進(jìn)行一次掃視。置信度隨時間累積的速率不一致。

因此，該模型提供了顯示各種反應(yīng)時間的可能性，而不是完全確定地預(yù)測單個反應(yīng)時間。置信度累積的平均速率受圖像特征的影響，并導(dǎo)致反應(yīng)時間的可能性發(fā)生變化。

兩個驗證實驗證實，該模型可以應(yīng)用于可能看到的圖像，包括視頻游戲和自然照片。

使用反應(yīng)時間預(yù)測優(yōu)化人的績效

這種掃視反應(yīng)時間模型的應(yīng)用包括，例如，智能駕駛輔助系統(tǒng)，用于估計駕駛員是否能夠?qū)π腥撕推渌囕v做出安全反應(yīng)，并啟用適當(dāng)?shù)妮o助功能。類似地，電子競技游戲設(shè)計師可以使用該模型來理解游戲視覺設(shè)計的公平性，避免競爭結(jié)果中的偏見。

野心勃勃的玩家也可以使用這種模型來微調(diào)他們的設(shè)置以獲得最佳性能——例如，為目標(biāo) 3D 對象選擇最佳皮膚。

在未來的工作中，研究團(tuán)隊計劃探索顏色和時間效應(yīng)等其他圖像特征如何影響人類的反應(yīng)時間，以及如何訓(xùn)練人類提高他們對屏幕或現(xiàn)實世界事件的反應(yīng)速度。

關(guān)于作者

Budmonde Duinkharjav 是 NVIDIA 2022 年夏季實習(xí)生，也是紐約大學(xué)沉浸式計算實驗室的博士候選人，由孫琦教授擔(dān)任顧問。在 2021 春季開始學(xué)習(xí)之前，他分別于 2018 年和 2019 年在麻省理工學(xué)院獲得了計算機(jī)科學(xué)和工程學(xué)士學(xué)位和孟學(xué)位。 Monde 對探索計算機(jī)圖形學(xué)、 AR / VR 和電子競技中的人類表現(xiàn)、行為和感知方面的各種主題感興趣。

Rachel Brown 是位于俄勒岡州波特蘭的 NVIDIA 人類感知和表現(xiàn)小組的研究科學(xué)家。她的興趣集中在計算機(jī)圖形學(xué)應(yīng)用中人類如何感知和響應(yīng)刺激，特別是周邊視覺、色彩和立體視覺領(lǐng)域。她于 2018 年在加州大學(xué)伯克利分校完成了研究生學(xué)業(yè)，獲得了視覺科學(xué)博士學(xué)位和計算機(jī)科學(xué)碩士學(xué)位，并于 2011 年在威廉瑪麗學(xué)院完成了本科學(xué)業(yè)，獲得生物學(xué)和心理學(xué)學(xué)士學(xué)位。

Anjul Patney 是位于華盛頓雷德蒙的 NVIDIA 人類表現(xiàn)和體驗研究小組的首席研究科學(xué)家。此前，他是 Facebook Reality Labs （ 2019-2021 ）的研究科學(xué)家，也是 NVIDIA （ 2013-2019 ）實時渲染的高級研究科學(xué)家。他于 2013 年獲得加州大學(xué)戴維斯分校的博士學(xué)位， 2007 年獲得印度理工學(xué)院德里分校的學(xué)士學(xué)位。 Anjul 的研究領(lǐng)域包括實時圖形的深度學(xué)習(xí)、時空圖像質(zhì)量的感知度量、虛擬現(xiàn)實圖形的中心凹渲染以及虛擬現(xiàn)實環(huán)境中的重定向行走。

審核編輯：郭婷