探索NVIDIA AI和Omniverse加速設(shè)計(jì)創(chuàng)作

6 月 3 日下午，NVIDIA 以 “AI 和內(nèi)容創(chuàng)作” 為主題，舉辦了2023 U 設(shè)計(jì)周 Uwin 產(chǎn)業(yè)分論壇。NVIDIA 為在座逾 800 位聽眾分享了如何使用 NVIDIA AI 和 Omniverse 加速設(shè)計(jì)創(chuàng)作。無(wú)論是物理模擬引擎、AI，還是 XR、云原生技術(shù)，都能融入 Omniverse 的工作流，進(jìn)而助力創(chuàng)意設(shè)計(jì)、廣告營(yíng)銷、游戲、企業(yè)服務(wù)等各個(gè)領(lǐng)域，通過(guò) Omniverse 平臺(tái)簡(jiǎn)化創(chuàng)建數(shù)字世界的工作流。

NVIDIA 全球副總裁劉念寧通過(guò)視頻致辭，誠(chéng)摯歡迎 U 設(shè)計(jì)周所有與會(huì)嘉賓和在線聽眾，并成功為 NVIDIA 分論壇揭開完美序幕。她指出，NVIDIA 作為一家全棧式 AI 計(jì)算平臺(tái)的賦能者，與行業(yè)各界合作伙伴建立了長(zhǎng)期深入的合作關(guān)系。結(jié)合合作伙伴豐富優(yōu)質(zhì)的生態(tài)和技術(shù)實(shí)力，以及 NVIDIA 在人工智能、圖形圖像等技術(shù)領(lǐng)域的賦能平臺(tái)，從芯片、系統(tǒng)、數(shù)據(jù)中心到云服務(wù)，將 AI 引入各行各業(yè)，幫助企業(yè)在可持續(xù)發(fā)展，生成式 AI 以及數(shù)字轉(zhuǎn)型的大趨勢(shì)下乘風(fēng)破浪、勇立潮頭。

每個(gè)時(shí)代的設(shè)計(jì)美學(xué)都具有獨(dú)特的風(fēng)格，此時(shí)此刻，設(shè)計(jì)所插上的是 AI 的翅膀，NVIDIA 愿成為企業(yè)、開發(fā)者和創(chuàng)作者手中的畫筆，共繪時(shí)代最美的篇章。

——?jiǎng)⒛顚?/p>

NVIDIA Omniverse 中國(guó)區(qū)業(yè)務(wù)負(fù)責(zé)人何展帶來(lái)「科技融合時(shí)代下的數(shù)字內(nèi)容生產(chǎn)變革」的主題分享。他指出，歷經(jīng) PC、互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)時(shí)代，我們正處于人工智能計(jì)算的新紀(jì)元，新計(jì)算時(shí)代會(huì)加速內(nèi)容生產(chǎn)和生成。

面對(duì)這個(gè)時(shí)代的發(fā)展機(jī)遇，NVIDIA 帶來(lái)的是 Omniverse 平臺(tái)。NVIDIA Omniverse 是一個(gè)啟用多 GPU 的開放式云原生平臺(tái)，由 NVIDIA RTX 技術(shù)提供動(dòng)力以支持實(shí)時(shí)協(xié)作，是專為虛擬協(xié)作和實(shí)時(shí)逼真模擬而打造的易于擴(kuò)展的開放式平臺(tái)。NVIDIA Omniverse 是連接世界上最大的工具生態(tài)系統(tǒng)，目前連接 220 個(gè)工具軟件，下載量超過(guò) 30 萬(wàn)。

隨后，何展介紹了 NVIDIA 在計(jì)算機(jī)視覺、計(jì)算機(jī)圖形學(xué)、生成式 AI、工業(yè)數(shù)字孿生等領(lǐng)域的最新應(yīng)用。比如，在計(jì)算機(jī)視覺層面，位于紐約的 AI 初創(chuàng)企業(yè)，同時(shí)也是奧斯卡最佳影片《瞬息全宇宙》的幕后制作公司 Runway，正使用 CV-CUDA 賦能其視頻編輯和圖像創(chuàng)建工具。在最新一代 NVIDIA GPU 的助力下，Runway 允許用戶只需簡(jiǎn)單幾筆即可從視頻中移除一個(gè)對(duì)象，或僅使用一個(gè)輸入圖像就可以對(duì)視頻應(yīng)用不同樣式的背景或者前景。過(guò)去使用傳統(tǒng)工具需要數(shù)小時(shí)才能完成的工作，現(xiàn)在只需要短短幾分鐘就可以實(shí)現(xiàn)專業(yè)廣播級(jí)的效果輸出。

而在生成式 AI 層面，生成式 AI 正在改變視覺內(nèi)容的創(chuàng)建方式，但要充分發(fā)揮其潛力，企業(yè)需要大量版權(quán)許可的數(shù)據(jù)、AI 專家與 AI 計(jì)算平臺(tái)。NVIDIA 在 3 月 GTC 大會(huì)上推出了 NVIDIA Picasso 的 AI 云服務(wù)，專門用于幫助企業(yè)使用自身的專有數(shù)據(jù)，創(chuàng)建和部署生成式 AI 賦能的圖像、視頻與 3D 應(yīng)用。企業(yè)可以將生成的素材導(dǎo)入編輯工具或 NVIDIA Omniverse，從而構(gòu)建逼真的模擬世界元宇宙應(yīng)用和數(shù)字孿生，同時(shí)簡(jiǎn)化自定義生成式 AI 應(yīng)用所需的訓(xùn)練、優(yōu)化和推理。

生成式 AI 將改變與顛覆包括影視、時(shí)尚、工業(yè)等多個(gè)行業(yè)的應(yīng)用，從而帶來(lái) “全民化” 的 2D 和 3D 內(nèi)容創(chuàng)建。

——何展

生成式 AI 是近期最火爆的話題之一。生成式 AI 的應(yīng)用，從文本、音頻到跨模態(tài)、策略生成等，在設(shè)計(jì)、內(nèi)容創(chuàng)作、廣告營(yíng)銷、游戲、企業(yè)服務(wù)等領(lǐng)域都陸續(xù)開始商業(yè)化應(yīng)用。NVIDIA 資深解決方案架構(gòu)師張瑋東以「生成式 AI 行業(yè)案例介紹」為題，介紹了目前行業(yè)中比較領(lǐng)先的生成式 AI 應(yīng)用案例，以及 NVIDIA 的各項(xiàng)能力對(duì)生成式 AI 的相關(guān)領(lǐng)域所提供的支撐。

在硬件層面，NVIDIA 新一代 GPU 采用全新的 Ada Lovelace 架構(gòu)，配備包括 CUDA 的核心——流式多處理器（Streaming Multiprocessor）相關(guān)模塊，用于加速 AI 訓(xùn)練和推理的第四代張量核心（Tensor Core）、支持實(shí)時(shí)光線追蹤渲染的第三代光追核心（Ray Tracing Core），以及支持編解碼加速的視頻編解碼引擎 NVENC/NVDEC，提供出色的效率、專業(yè)圖形、AI 和計(jì)算性能。此外，NVIDIA 還提供基于新一代 RTX 技術(shù)的一系列專業(yè)視覺計(jì)算產(chǎn)品，如數(shù)據(jù)中心顯卡與工作站顯卡。目前，市場(chǎng)上超過(guò) 70 款熱門 DCC 軟件，如 Blender、Autodesk 等，均由 NVIDIA GPU 賦能的實(shí)時(shí)光線追蹤技術(shù)以及加速技術(shù)作為底層支持。

隨后，張瑋東分享了生成式 AI 在圖像生成、三維對(duì)象生成、文本和代碼生成、多模態(tài)生成、聲音與音樂(lè)生成、動(dòng)作生成等多個(gè)領(lǐng)域的領(lǐng)先應(yīng)用案例，比如借助 Stable Diffusion 用 AI 生成紋理和 PBR 材質(zhì)交互編輯，借助 NVIDIA Instant NeRF（神經(jīng)輻射場(chǎng)）將靜態(tài) 2D 圖像轉(zhuǎn)換為 3D 場(chǎng)景創(chuàng)建，為與會(huì)觀眾帶來(lái)震撼的視聽體驗(yàn)。

關(guān)于生成式 AI 的發(fā)展機(jī)遇與挑戰(zhàn)，我希望留個(gè)懸念，讓大家去思考。期待各位在生成式 AI 發(fā)展的起點(diǎn)就深入進(jìn)去，做得更好。

——張瑋東

隨后，NVIDIA 的特邀嘉賓、國(guó)際知名視覺設(shè)計(jì)藝術(shù)家、良勝數(shù)字聯(lián)合創(chuàng)始人張大勝，帶來(lái)「利用 NVIDIA Omniverse 打造數(shù)字世界」主題演講，分享了如何使用利用 NVIDIA Omniverse 打造數(shù)字世界的經(jīng)驗(yàn)。他表達(dá)了對(duì)于科技、設(shè)計(jì)的敬仰，以及對(duì) Omniverse 的熱愛，稱之為 “讓設(shè)計(jì)進(jìn)化的藥”，提供了無(wú)邊無(wú)界的創(chuàng)意空間。

良勝數(shù)字一直主打電影級(jí)的數(shù)字特效設(shè)計(jì)，致力于打造全球領(lǐng)先的數(shù)字創(chuàng)意設(shè)計(jì)公司，同時(shí)也是NVIDIA 初創(chuàng)加速計(jì)劃會(huì)員企業(yè)。目前，良勝數(shù)字的超寫實(shí)數(shù)字人設(shè)計(jì)部通過(guò) NVIDIA Omniverse Audio2Face 提供 AI 動(dòng)力支持，音頻生成面部表情動(dòng)畫，解決臉部動(dòng)捕難點(diǎn)。在良勝數(shù)字，從 Blender 到 Maya、從 iCLONE 到 Unreal Engine，各種復(fù)雜的 3D 工作流都通過(guò) NVIDIA Omniverse 實(shí)現(xiàn)充分的互操作性，讓設(shè)計(jì)變得更高效、更美好。

人工智能和設(shè)計(jì)領(lǐng)域的交叉融合，是一個(gè)重要的趨勢(shì)。NVIDIA 及其領(lǐng)先的 Omniverse 平臺(tái)已成為我們?cè)谠O(shè)計(jì)進(jìn)程中不可或缺的工具，使得包括良勝數(shù)字在內(nèi)的設(shè)計(jì)師可以更加高效、更具想象力地進(jìn)行創(chuàng)作。希望更多的設(shè)計(jì)師能夠運(yùn)用這一工具，提高效率，創(chuàng)新設(shè)計(jì)，推動(dòng)整個(gè)設(shè)計(jì)行業(yè)的進(jìn)步發(fā)展。

——張大勝

基于 NVIDIA 基于 CUDA 和 TensorRT 加速的 Stable Diffusion，和 Transformer 架構(gòu)的 ChatGPT 等生成式 AI 工具，正在變革設(shè)計(jì)工作模式。NVIDIA 解決方案架構(gòu)師曹徐偉，帶來(lái)了「從 NVIDIA Omniverse 3D 協(xié)同設(shè)計(jì)到 NVIDIA AI 工具創(chuàng)作運(yùn)用」主題分享，探討如何將 Diffusion 模型生成的內(nèi)容與 NVIDIA Omniverse 相結(jié)合，以及 ChatGPT 自主式編程如何輔助傳統(tǒng)的設(shè)計(jì)工作流。

AI 初學(xué)者如何開始第一步？曹徐偉通過(guò) NVIDIA 賦能下整合多種技術(shù)的設(shè)計(jì)工作流示例，向與會(huì)聽眾分享了快速上手的實(shí)用經(jīng)驗(yàn)技巧。比如，通過(guò) NVIDIA 一個(gè)內(nèi)部開發(fā)模塊 NVSCAN，可以快速掃描人臉，生成點(diǎn)云；生成點(diǎn)云后，可以通過(guò) MeshLab 工具掃描數(shù)字人；隨后使用 MetaHuman 框架，將臉型拓?fù)溥^(guò)去，與數(shù)字人的身體網(wǎng)格匹配；最終，通過(guò) NVIDIA Omniverse Audio2Face 生成面部動(dòng)畫。整個(gè)工作流非常適用于數(shù)字人初學(xué)者去使用。

面向生成式 AI 帶來(lái)的機(jī)會(huì)，不要有過(guò)多的焦慮。引用創(chuàng)始人黃仁勛的話，不要走，要用跑的。我們很愿意輔助大家，在這個(gè)賽道上找到自己的價(jià)值和方向。

——曹徐偉

最后，NVIDIA XR 業(yè)務(wù)拓展及開發(fā)者關(guān)系經(jīng)理毛萃帶來(lái)以「四大支柱技術(shù)碰撞出的 XR 生態(tài)新范式」為題的分享。

無(wú)論是賦能用戶的協(xié)作設(shè)計(jì)，還是利用數(shù)字世界幫助觀眾在虛實(shí)之間切換、互動(dòng)，都離不開擴(kuò)展現(xiàn)實(shí)（XR）所創(chuàng)造的逼真、沉浸式環(huán)境。在演講中，毛萃先簡(jiǎn)單介紹了 XR 的相關(guān)概念——XR 包括虛擬現(xiàn)實(shí) VR、增強(qiáng)現(xiàn)實(shí) AR、以及混合現(xiàn)實(shí) MR。談到 XR 的發(fā)展歷史，最早可以追溯到 1838 年。在 1968 年，第一款頭戴虛擬現(xiàn)實(shí)設(shè)備 Sutherland 出現(xiàn)。2016 年前后，XR 開始走入大眾視野。伴隨著手機(jī)供應(yīng)鏈的成熟、AI 技術(shù)的發(fā)展，以及計(jì)算機(jī)視覺技術(shù)的提升，XR 得到了飛躍式的發(fā)展。

隨后，毛萃介紹了構(gòu)建 XR 生態(tài)新范式的四大核心支柱技術(shù)：串流技術(shù)、AI技術(shù)、協(xié)作、以及高保真。

串流技術(shù)

借助 NVIDIA CloudXR SDK，用戶可以通過(guò) GPU 虛擬化軟件充分利用 NVIDIA RTX 服務(wù)器的強(qiáng)大功能，通過(guò)云端串流技術(shù)以及網(wǎng)絡(luò)傳輸，將制作好的 XR 內(nèi)容傳輸?shù)礁鞣N類型的 XR 設(shè)備上，打造精彩的增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)體驗(yàn)。今年三月，NVIDIA 新發(fā)布了 CloudXR 4.0 版本，帶來(lái)了 CloudXR Server API、Unity 插件、通用手柄支持等新功能，允許開發(fā)者在應(yīng)用程序和定制方案中集成 CloudXR 服務(wù)，而企業(yè)客戶則可通過(guò) CloudXR 4.0 來(lái)提升 AR/VR 能力，為 XR 部署帶來(lái)更多靈活性和可擴(kuò)展性。

協(xié)作與高保真

NVIDIA Omniverse XR 包含 AR 和 VR 兩部分。一方面，通過(guò)在應(yīng)用商店可下載的 Omniverse Streaming Client 應(yīng)用，渲染后的光追場(chǎng)景串流到平板或者手機(jī)，以 AR 呈現(xiàn)。另一方面，作為首個(gè)全畫幅、支持 VR 實(shí)時(shí)光線追蹤的應(yīng)用，工程師、設(shè)計(jì)師和創(chuàng)作者能在 VR 環(huán)境中查看、導(dǎo)航、審查和注釋，控制燈光，操作 3D 物體等。NVIDIA Omniverse XR 不需要預(yù)處理或編譯，VR 內(nèi)部物體可以被重新定位和重新縮放，照明也可實(shí)時(shí)調(diào)整。

AI 技術(shù)

如何擺脫手柄，讓解放雙手的 XR 體驗(yàn)成為可能？從現(xiàn)場(chǎng)展示的 Project Mellon（甜瓜項(xiàng)目）上看到，NVIDIA 正通過(guò)使用自然語(yǔ)言語(yǔ)音指令創(chuàng)建 XR 體驗(yàn)。Project Mellon 是一個(gè)輕量級(jí)的 Python 軟件包，能夠利用強(qiáng)大的語(yǔ)音 AI（NVIDIA Riva）和 LLMs（NVIDIA NeMo 服務(wù)），簡(jiǎn)化沉浸式環(huán)境中的用戶交互。NVIDIA 在 GTC 2023 上宣布，Project Mellon 現(xiàn)已支持開發(fā)者進(jìn)行測(cè)試。語(yǔ)音輸入會(huì)在對(duì)話框中以文字形式展現(xiàn)，對(duì)于操作人員來(lái)說(shuō)，這意味著他不需要知道某個(gè)操作的實(shí)現(xiàn)需要如何操作界面，只需要通過(guò)自然語(yǔ)音來(lái)交互就可以。

生成式 AI 時(shí)代下 XR 的發(fā)展趨勢(shì)

自發(fā)布以來(lái)，成千上萬(wàn)的開發(fā)者和內(nèi)容創(chuàng)作者正在利用 NVIDIA Instant NeRF 構(gòu)建令人驚嘆的 3D 視覺效果。近日，NVIDIA 為這個(gè)渲染工具增加了虛擬現(xiàn)實(shí)支持，即 Instant NeRF in VR。換句話說(shuō)，用戶可以從靜態(tài)圖像渲染沉浸式場(chǎng)景，然后通過(guò) VR 頭顯虛擬地進(jìn)入環(huán)境，并在 3D 空間中自由移動(dòng)。從現(xiàn)場(chǎng)視頻演示中可以看到，一個(gè)快速重建的 3D 環(huán)境演示，其渲染的場(chǎng)景細(xì)節(jié)已經(jīng)非常驚艷，相信在不久的將來(lái)，將有更多商業(yè)的應(yīng)用與拓展。

串流技術(shù)、AI、協(xié)作、高保真，這是 NVIDIA 定義的影響 XR 發(fā)展的四個(gè)核心技術(shù)，它們相互融合承托，為構(gòu)建 XR 生態(tài)新范式奠定基礎(chǔ)。

——毛萃

U 設(shè)計(jì)周 X NVIDIA Omniverse 元宇宙設(shè)計(jì)大賽頒獎(jiǎng)典禮也在現(xiàn)場(chǎng)舉辦，為此次專業(yè)論壇畫上了圓滿的句號(hào)。眾多優(yōu)秀的創(chuàng)作者和開發(fā)者在大賽期間將 NVIDIA Omniverse 融入其創(chuàng)作和開發(fā)工作流，讓精彩創(chuàng)意落地。

6 月 1 日 – 4 日 U 設(shè)計(jì)周活動(dòng)期間，NVIDIA 展區(qū)展示了涵蓋軟硬件、NVIDIA Research、行業(yè)產(chǎn)品和解決方案、客戶案例、NVIDIA 初創(chuàng)加速計(jì)劃（NVIDIA Inception）會(huì)員企業(yè)案例、互動(dòng)演示七大版塊，集中展示了 NVIDIA 全棧式 AI 解決方案以及 AI 研究、行業(yè)應(yīng)用、生態(tài)企業(yè)的前沿成果。