英偉達與MIT合作推出視頻合成AI新技術,直接用現(xiàn)實視頻生成逼真的虛擬世界。未來或許只需一段手機視頻,你就可以真正進入心儀的游戲中去當英雄了!
最近英偉達的黑科技有點多。
英偉達的研究人員打造出一個新的AI生成模型,可以使用來自YouTube等來源的真實視頻創(chuàng)建虛擬環(huán)境,這可能影響游戲開發(fā)和人工智能的未來。
“這是一種新的渲染技術,基本上只需使用草繪圖作為輸入,可以處理對象的高級表示以及它們在虛擬環(huán)境中的交互方式。由模型實際上處理細節(jié)、細化紋理和照明環(huán)境等等,最后輸出完全渲染的圖像?!坝ミ_應用深度學習副總裁Bryan Catanzaro在接受采訪時表示。
Bryan Catanzaro,看扮相就像是搞黑科技的
這一系統(tǒng)使用百度的自動駕駛項目的Apolloscape采集的視頻進行訓練。系統(tǒng)將這些視頻的草繪圖,比如樹木、建筑物、汽車和行人等都輸入到模型中。
Catanzaro和其他英偉達的研究人員與MIT CSAIL的學生們合作,撰寫了題為"Video-to-Video Synthesis"的論文,文中對這一技術做了詳細闡述。
論文地址:
Video-to-Video Synthesis
https://arxiv.org/pdf/1808.06601.pdf
該模型可以實現(xiàn)快速生成合成環(huán)境,可用于訓練強化學習的智能體,或讓游戲中的玩家產生身臨其境之感。
由輸入分割映射視頻生成的逼真輸出視頻。左上為輸入,其余為不同模型的輸出,右下為英偉達和MIT最新模型vid2vid的輸出
“想象一下,如果你能在電子游戲中扮演自己的角色。而且,只需要一段自己手機中的視頻,就能讓你進入虛擬環(huán)境,穿上閃亮的盔甲,像騎士一樣去做偉大的事情。
“英偉達長期以來一直致力于圖形處理技術,因此我們非常高興能夠將圖形技術帶入AI時代,并使用AI技術生成圖形,我們可以從現(xiàn)實世界的視頻中了解事物的運作方式,然后根據(jù)學到的知識,合成出逼真的、基于實際內容的虛擬圖像。”
系統(tǒng)能夠考慮諸如對象位置,對象之間的關系以及用于定義對象邊緣的映射之類的要素。
英偉達將于NeurIPS 2018大會上演示視頻并分享該技術的其他細節(jié)。
左側為樣例面部圖像輸入,中間為草繪圖,右側為輸出
Nvidia團隊最初的靈感來自于Alexei Efros和加州大學伯克利分校的其他研究人員的Pix2Pix系統(tǒng)的成果。英偉達在此基礎上與加州大學伯克利分校的AI研究人員合作,打造了Pix2PixHD系統(tǒng)作為回應。
今年早些時候,加州大學伯克利分校的研究人員還制作了能夠跳舞、翻轉以及其他20種復雜動作的模型。
樣例舞蹈動作——動作提取——輸出
“這是我們第一次實現(xiàn)交互式的人工智能場景渲染,我們?yōu)榇烁械阶院馈5@項技術目前還處于早期階段,未來的目標是提供更高質量、通用性更好的輸出,以便能夠處理更多種類的場景。我對這一技術未來的發(fā)展方向感到非常興奮?!盋atanzaro說。
-
人工智能
+關注
關注
1789文章
46348瀏覽量
236509 -
英偉達
+關注
關注
22文章
3683瀏覽量
90487 -
黑科技
+關注
關注
14文章
127瀏覽量
37234
原文標題:英偉達MIT黑科技 :用AI生成模型快速構建虛擬世界
文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
相關推薦
評論