編者按:今天,DeepMind的研究人員在Science上發(fā)表論文,推出了一種新的神經(jīng)網(wǎng)絡(luò)——GQN,只用幾張二維照片,就能重建全部的三維場景,可以說是計算機視覺領(lǐng)域的又一關(guān)鍵突破。
讓機器對空間環(huán)境進(jìn)行感知似乎一直是DeepMind研究的重點,一個多月前我們曾報道過他們的另一項研究:DeepMind用AI解密大腦:當(dāng)你找路時,大腦發(fā)生了什么。空間感知對人類來說很簡單,例如當(dāng)我們第一次走進(jìn)一個房間,掃一眼就能知道屋里有哪些物品、它們都在哪個位置上。只看到桌子的三條腿,你也能推斷出第四條腿的大致位置和形狀。另外,即使你沒有熟悉屋里的每個角落,也能大概描繪出它的平面圖,或者能想象出從另一個角度看房間應(yīng)該是什么樣子的。
但是想讓人工智能系統(tǒng)做到上述行為的確很困難。現(xiàn)在最先進(jìn)的計算機視覺系統(tǒng)仍需要在大型經(jīng)過標(biāo)注的數(shù)據(jù)集上進(jìn)行訓(xùn)練,而數(shù)據(jù)標(biāo)注又是一項費時費力的工作,所以每次模型只能捕捉一小部分場景。隨著網(wǎng)絡(luò)越來越復(fù)雜,想詳細(xì)了解的周圍環(huán)境也越復(fù)雜:最近的座位在哪?沙發(fā)是什么材質(zhì)的?所有影子的光源在哪?照明開關(guān)可能在哪?
在這次的研究中,DeepMind研究人員介紹了一種能感知周圍環(huán)境的框架——GQN(Generative Query Network)。和嬰兒或動物一樣,GQN通過觀察周圍環(huán)境收集數(shù)據(jù),從而學(xué)習(xí),無需人類對場景進(jìn)行標(biāo)記,就能掌握大致空間結(jié)構(gòu)。
GQN模型由兩部分組成:一個表示網(wǎng)絡(luò)和一個生成網(wǎng)絡(luò)。表示網(wǎng)絡(luò)將智能體所觀察到的畫面作為輸入,生成一個表示(向量),描述了基本場景。之后,生成網(wǎng)絡(luò)從此前沒有觀察到的角度對場景進(jìn)行預(yù)測(或者說是“想象”)。
但是表示網(wǎng)絡(luò)并不知道生成網(wǎng)絡(luò)要從哪個視角預(yù)測場景,所以它必須找到一種高效、精確的描繪場景平面的方法。它通過捕捉最重要的元素,例如物體的位置、顏色和房間平面,進(jìn)行簡單表示。訓(xùn)練期間,生成器學(xué)習(xí)辨認(rèn)物體、特征、關(guān)系和環(huán)境的規(guī)律。這一套“共享”的概念讓表示網(wǎng)絡(luò)能用一種高度簡練、抽象的方式描繪場景,剩余的細(xì)節(jié)部分就由生成網(wǎng)絡(luò)補充。例如,表示網(wǎng)絡(luò)用一小串?dāng)?shù)字表示一個“藍(lán)色方塊”,生成網(wǎng)絡(luò)就知道從某個角度應(yīng)該如何用像素展現(xiàn)出來。
DeepMind研究人員在程序生成的虛擬3D環(huán)境中對GQN做了多次試驗,包括多種不同物體,被擺放在不同的位置,并且形狀、顏色、材質(zhì)都不相同,同時還改變了光線方向和遮擋程度。通過在這些環(huán)境上進(jìn)行訓(xùn)練,他們用GQN的表示網(wǎng)絡(luò)去生成一個從未見過的場景。在實驗中人們發(fā)現(xiàn)GQN展現(xiàn)出了幾個重要特征:
GQN的生成網(wǎng)絡(luò)可以在全新視角“想象”出此前沒有見過的景象,精確度非常高。給定一個場景表示和新的相機角度,網(wǎng)絡(luò)不需要任何先前信息就能生成精確的圖像。所以生成網(wǎng)絡(luò)也可以近似看成是從數(shù)據(jù)中學(xué)習(xí)的渲染器:
GQN的表示網(wǎng)絡(luò)可以獨自學(xué)習(xí)算數(shù)、定位、分類物體。就算在小型表示上,GQN也能在具體視角上做出非常精準(zhǔn)的預(yù)測,和現(xiàn)實幾乎一模一樣。這說明了表示網(wǎng)絡(luò)觀察得非常仔細(xì),例如下面這個由幾個方塊堆疊起來的場景:
GQN可以表示、測量并且減少不確定性。即使在沒有完全看到所有場景的情況下,網(wǎng)絡(luò)也可以解釋其中的不確定之處。同時也能根據(jù)部分圖像拼成完整的場景。下面的第一人稱視角和自上而下的預(yù)測方法就是其中的“秘訣”。模型通過它預(yù)測的變化性表達(dá)不確定性,其中預(yù)測的變化性隨著不斷在迷宮中移動減少(灰色三角是觀察位置)。
GQN表示支持穩(wěn)定、數(shù)據(jù)高效的強化學(xué)習(xí)。給定GQN表示后,目前頂尖的深度強化學(xué)習(xí)智能體就開始學(xué)習(xí)以數(shù)據(jù)有效的方式完成任務(wù)。對這些智能體來說,生成網(wǎng)絡(luò)中編入的信息可以看作是對環(huán)境固有的認(rèn)知:
利用GQN我們觀察到了更多數(shù)據(jù)有效的學(xué)習(xí),比通常只利用原始像素的方法快了近4倍達(dá)到收斂水平
相較于前人研究,GQN是一種全新的學(xué)習(xí)現(xiàn)實場景的簡單方法。重要的是,這種方法不需要對具體場景建模,或者花大量時間對內(nèi)容標(biāo)注,一個模型就能應(yīng)用多個場景。它還學(xué)習(xí)了一種強大的神經(jīng)渲染器,能夠在任意角度生成精確的場景圖像。
不過,與一些傳統(tǒng)計算機視覺技術(shù)相比,這次所提出的方法仍然有很多限制,并且目前也都是在虛擬的合成場景上訓(xùn)練的。不過,隨著更多可用數(shù)據(jù)的出現(xiàn)以及硬件的提升,研究人員希望進(jìn)一步套索GQN的可能性,比如將它應(yīng)用到現(xiàn)實場景中,同時提高成像分辨率。未來,研究GQN對更廣泛的場景理解非常重要,例如加入時間的維度,讓它學(xué)習(xí)對場景和移動的理解,同時應(yīng)用到VR和AR技術(shù)中。盡管前路漫漫,這項工作對全自動場景辨別來說是重要一步。
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4726瀏覽量
100311 -
計算機視覺
+關(guān)注
關(guān)注
8文章
1689瀏覽量
45874 -
數(shù)據(jù)集
+關(guān)注
關(guān)注
4文章
1197瀏覽量
24592
原文標(biāo)題:DeepMind重磅論文:不用人類標(biāo)記,幾張圖片就能渲染出3D場景
文章出處:【微信號:jqr_AI,微信公眾號:論智】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論