0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

河套IT TALK 69: (原創(chuàng)) 沉浸式的虛擬演播室技術(shù)(萬(wàn)字長(zhǎng)文)

共熵服務(wù)中心 ? 來(lái)源:未知 ? 2023-04-07 02:15 ? 次閱讀

4f596622-d4a6-11ed-bfe3-dac502259ad0.png

4f810592-d4a6-11ed-bfe3-dac502259ad0.png

當(dāng)我們談?wù)?a href="http://srfitnesspt.com/v/" target="_blank">視頻技術(shù)時(shí),超高清視頻(Ultra High Definition,簡(jiǎn)稱UHD)無(wú)疑是當(dāng)今最令人興奮的領(lǐng)域之一。上期,我們花費(fèi)大量的篇幅介紹了超高清視頻的數(shù)字版權(quán)管理DRM技術(shù),本篇我們來(lái)談?wù)劤咔逡曨l的制作技術(shù)之一——虛擬演播室。

關(guān)聯(lián)回顧

全圖說(shuō)電視的發(fā)展歷史

全圖說(shuō)視頻編解碼的發(fā)展歷史

由淺入深說(shuō)高清——聊聊高動(dòng)態(tài)范圍(HDR)

由淺入深說(shuō)高清——HDR的標(biāo)準(zhǔn)之爭(zhēng)

由淺入深說(shuō)高清——HDR的適配性與流程化的挑戰(zhàn)由淺入深說(shuō)高清——讓人眼花繚亂的超高清視頻編解碼格式由淺入深說(shuō)高清——超高清視頻的三維聲技術(shù)由淺入深說(shuō)高清——基于深度學(xué)習(xí)的超分技術(shù)由淺入深說(shuō)高清——超高清視頻的數(shù)字版權(quán)管理

1.綠幕技術(shù)

最早的虛擬演播室,是采用綠幕(英文的標(biāo)準(zhǔn)說(shuō)法是Chroma key,直接翻譯就是色度鍵控)方式。Chroma key這個(gè)詞兒是美國(guó)電子公司RCA在其N(xiāo)BC電視廣播中使用的工藝名稱。之所以這么稱呼,因?yàn)镃hroma key的目的是根據(jù)色調(diào)(色度范圍)將兩個(gè)圖像或視頻流合成(分層)在一起,而不是分離,綠幕和藍(lán)幕分離只是其中的技術(shù)過(guò)程的一環(huán)。色度鍵控技術(shù)常用于視頻制作和后期制作。這種技術(shù)也稱為顏色鍵控、顏色分離疊加。

4fd9d7c6-d4a6-11ed-bfe3-dac502259ad0.jpg

這里面必須要提到佩特羅·弗拉霍斯(Petro Vlahos),正是他改進(jìn)了這一工藝,并在電影《賓虛》中成功運(yùn)用,驚艷的效果才得以讓這種綠幕/藍(lán)幕技術(shù)被迅速?gòu)V泛運(yùn)用,至今仍方興未艾。這位發(fā)明家也因此拿到3個(gè)奧斯卡獎(jiǎng)和一個(gè)艾美獎(jiǎng),確實(shí)是拿到手軟。

5004ab90-d4a6-11ed-bfe3-dac502259ad0.png

補(bǔ)充小知識(shí):為什么是綠幕和藍(lán)幕

為什么是綠幕和藍(lán)幕,是因?yàn)樗鼈冊(cè)谏{(diào)上與任何人類(lèi)膚色的差異最為明顯。這也是為什么綠巨人或者藍(lán)色外星人,才看起來(lái)那么醒目的和與眾不同。所以在這個(gè)技術(shù)運(yùn)用的時(shí)候,演員的著裝非常重要,如果和后面的單色幕布色差太小,就會(huì)被錯(cuò)誤地識(shí)別為背景的一部分。有一個(gè)趣事,就是2002年的電影《蜘蛛俠》的拍攝中,在在蜘蛛俠和綠魔都在空中的場(chǎng)景中,兩個(gè)人必須分開(kāi)拍攝,因?yàn)椋褐┲雮b穿著紅色和藍(lán)色的服裝,必須在綠幕前拍攝,而綠魔穿著完全綠色的服裝,必須在藍(lán)幕前拍攝屏幕。如果兩個(gè)人都在同一個(gè)綠幕藍(lán)幕前拍攝,那么一個(gè)角色的某些部分就會(huì)從鏡頭中消失。

5004ab90-d4a6-11ed-bfe3-dac502259ad0.png

在綠幕技術(shù)中,一個(gè)最為關(guān)鍵的算法就是活動(dòng)輪廓模型(Active contour model)。說(shuō)白一點(diǎn)兒,就是動(dòng)態(tài)摳圖技術(shù)。

活動(dòng)輪廓模型,是計(jì)算機(jī)視覺(jué)中的一個(gè)框架,由幾位計(jì)算機(jī)圖形學(xué)的大佬:邁克爾·卡斯(Michael Kass)、安德魯·維特金(Andrew Witkin)和德米特里·特佐普洛斯(Demetri Terzopoulos)開(kāi)發(fā)的算法。用于從可能有噪聲的2D圖像中描繪對(duì)象輪廓。這個(gè)算法被廣泛運(yùn)用在對(duì)象跟蹤、形狀識(shí)別、分割、邊緣檢測(cè)和立體匹配等應(yīng)用中。與經(jīng)典的特征提取技術(shù)相比,活動(dòng)輪廓模型具有多個(gè)優(yōu)勢(shì):

    • 自主地、自適應(yīng)地搜索最小狀態(tài)。

    • 外部形象力以直觀的方式作用于活動(dòng)輪廓模型。

    • 在圖像能量函數(shù)中結(jié)合高斯平滑引入了尺度敏感性。

    • 可用于跟蹤動(dòng)態(tài)對(duì)象。

正是這些優(yōu)勢(shì),讓這個(gè)模型在綠幕動(dòng)態(tài)摳圖和后期制作中如魚(yú)得水,也讓這幾位計(jì)算機(jī)圖形學(xué)的大佬也都順便拿了奧斯卡獎(jiǎng)。

和這個(gè)技術(shù)相配合的視頻摳圖技術(shù)還有一項(xiàng)是Alpha透明遮罩(Alpha Mask),當(dāng)然,這些方法現(xiàn)都可以通過(guò)計(jì)算機(jī)算法實(shí)現(xiàn)自動(dòng)化了。

在電視節(jié)目中,綠幕技術(shù),經(jīng)常用在天氣預(yù)報(bào)廣播中,在天氣預(yù)報(bào)直播期間,通常會(huì)看到新聞主持人站在大型CGI地圖前,但它實(shí)際上是一個(gè)大的藍(lán)色或綠色背景。使用藍(lán)屏,在圖像中顏色為藍(lán)色的部分添加不同的天氣圖。在計(jì)算機(jī)技術(shù)并未成熟前,電影電視劇的制作過(guò)程中,綠幕還經(jīng)常與轉(zhuǎn)軸(旋轉(zhuǎn)鏡)技術(shù)和運(yùn)動(dòng)追蹤結(jié)合使用,來(lái)制造隨著主體移動(dòng)而背景變化的效果。但計(jì)算機(jī)生成圖像(CGI)技術(shù)大大簡(jiǎn)化了這一過(guò)程,可以方便地將運(yùn)動(dòng)融入合成鏡頭中。

2.虛擬演播室

后來(lái),隨著LED屏幕的普及,尺寸越來(lái)越大,以及制作成本越來(lái)越低,人們不免會(huì)有這種思考,何必要經(jīng)過(guò)綠幕再摳圖再合成這么復(fù)雜的操作,直接將不同的背景融在一起不行嗎?澳大利亞電影導(dǎo)演克萊頓·雅各布森 (Clayton Jacobson)在2016年,和他的兒子使用一組LED 屏幕在他們的棚子里制作了現(xiàn)場(chǎng)虛擬制作(On-set virtual production,簡(jiǎn)稱OEVP,或者VP)的首批原型之一。2年后,他的點(diǎn)子被澳大利亞電影攝影師格雷格·弗雷澤 (Greig Fraser)使用,拍攝了星球大戰(zhàn)系列衍生劇《曼達(dá)洛人》。現(xiàn)在,全球最大的現(xiàn)場(chǎng)虛擬制作舞臺(tái)就在澳大利亞澳大利亞墨爾本碼頭區(qū)工作室。

《曼達(dá)洛人》使用的虛擬演播室技術(shù)叫StageCraft,這是由工業(yè)光魔公司(ILM)設(shè)計(jì)的視頻墻組成的。這也被認(rèn)為是一種革命性的視覺(jué)效果技術(shù)。StageCraft 過(guò)程包括拍攝真人演員和被大型超高清 LED視頻墻包圍的布景。這些墻顯示計(jì)算機(jī)生成的背景,傳統(tǒng)上主要在用綠屏拍攝后的后期制作中合成。這些設(shè)施被稱為“卷”。拍攝時(shí),制作團(tuán)隊(duì)可以根據(jù)移動(dòng)的機(jī)位即時(shí)調(diào)整背景。可以實(shí)時(shí)操作整個(gè) CG 背景。ILM 使用Epic Games的虛幻引擎(一種流行的游戲引擎)來(lái)處理計(jì)算機(jī)生成環(huán)境的實(shí)時(shí) 3D 渲染。

作為一種新型的影視拍攝方式,虛擬演播室技術(shù)更多用于電影、電視劇的拍攝,可以使影視制作人用LED屏取代綠幕,直接在片場(chǎng)現(xiàn)實(shí)實(shí)時(shí)背景和視覺(jué)特效。和綠幕技術(shù)相比,它的優(yōu)勢(shì)可以體現(xiàn)在多個(gè)方面:

    • 攝影空間自由化,可在室內(nèi)影棚內(nèi)完成各種場(chǎng)景的拍攝,無(wú)論是森林草原雪山,都可以使用渲染引擎實(shí)時(shí)創(chuàng)建,大幅度減少取景、布景材料損耗,進(jìn)而降低拍攝成本。

    • 制片全流程簡(jiǎn)單化,可以迅速切換場(chǎng)景所需畫(huà)面,輕松搭景,相當(dāng)于影視制作預(yù)加工加快拍攝進(jìn)程?!八?jiàn)即所得”,在拍攝過(guò)程中制作人可以在屏幕上及時(shí)查看想要的拍攝畫(huà)面,場(chǎng)景內(nèi)容和敘事空間皆可實(shí)時(shí)修改、調(diào)整,大幅度提高換景、改景的效率。在沒(méi)有運(yùn)用這個(gè)技術(shù)之前,通過(guò)綠幕方式拍攝,導(dǎo)演必須要通過(guò)單獨(dú)的顯示器,快速顯示融合后的畫(huà)面,提前了解后期的效果,然后來(lái)指導(dǎo)演員的表演,同時(shí)后期還會(huì)有視頻合成剪輯流程才能進(jìn)入后期,而這在VP攝影棚中,這些繁瑣過(guò)程都會(huì)被裁減。

    • 表演空間沉浸化,在片場(chǎng)的演員站在實(shí)時(shí)生成場(chǎng)景的R舞臺(tái)上,不必靠演員自身腦補(bǔ)在傻乎乎做一些表演,而是可以在沉浸式空間內(nèi)進(jìn)行表演,直接體驗(yàn),演員表演更真實(shí)、更自然。同時(shí),LED顯示屏的光源為現(xiàn)場(chǎng)提供真實(shí)光影效果與細(xì)膩色彩表現(xiàn)打光,拍攝出的效果更加逼真、完美,極大提升影片整體質(zhì)量。

    • 可節(jié)省拍攝、制作時(shí)間??s短投資回報(bào)周期。實(shí)現(xiàn)對(duì)時(shí)間的精準(zhǔn)把控。通過(guò)VP攝影棚輕松切換不同時(shí)間、季節(jié)、氣候,將四季掌握在手里,不用寒暑交替拍攝,可全天候拍攝。虛擬演播室通過(guò)LED顯示屏構(gòu)建虛擬場(chǎng)景、節(jié)省拍攝團(tuán)隊(duì)在實(shí)景拍攝時(shí)的差旅、舟車(chē)勞頓、選景、搭景時(shí)間等成本,演員或主持人在可控環(huán)境下表演,即使在惡劣的嚴(yán)寒或極熱環(huán)境下也表演自如。傳統(tǒng)制作中最困難的部分之一就是要確保環(huán)境恰到好處。這可能意味著有一個(gè) 60 分鐘的窗口,在太陽(yáng)落山時(shí)獲得完美的拍攝(神奇的時(shí)刻),或者依靠在雨天晴天——你很可能得不到你需要的東西。張藝謀導(dǎo)演在拍攝《英雄》,在九寨溝的箭竹海上,平靜湖面上兩個(gè)男人點(diǎn)水掠過(guò),激起層層漣漪,為了拍攝完全平靜的水面,劇組常常從凌晨五點(diǎn)等到上午十點(diǎn)……有了虛擬制作,您就不必?fù)?dān)心這些了。您可以隨時(shí)控制屏幕上顯示的內(nèi)容,因此如果您希望日落 3 小時(shí),也可以。如果你想讓它在冬日陽(yáng)光明媚,它也可以。這大大減少了等待完美條件所花費(fèi)的時(shí)間。另外通過(guò)這種方式使得后期前置實(shí)時(shí)看到最終呈現(xiàn)畫(huà)面效果,大幅減少后期制作時(shí)間。相比起傳統(tǒng)的耗時(shí)耗力的電影拍攝流程,虛擬拍攝制作因?yàn)樾矢?,周期大幅度降低,可更快?shí)現(xiàn)影片的上映,加快現(xiàn)金回流,提高現(xiàn)金周轉(zhuǎn)率,節(jié)省演員的片酬以及工作人員的支出費(fèi)用,大幅度降低拍攝成本。這種基于LED背景墻的電影虛擬制作被認(rèn)為這是電影制作方面的巨大發(fā)展,為影視行業(yè)的未來(lái)提供了全新的動(dòng)力。

虛擬演播室技術(shù)及其先進(jìn)的節(jié)目制作方式這兩年在國(guó)內(nèi)外普遍使用,得到了迅猛的發(fā)展。美國(guó)廣播公司(ABC)創(chuàng)新推出的虛擬現(xiàn)實(shí)新聞報(bào)告,讓觀眾能夠在敘利亞等新聞現(xiàn)場(chǎng)中自由走動(dòng),了解當(dāng)?shù)匕l(fā)生的事件。新加坡綜合媒體和娛樂(lè)及創(chuàng)意服務(wù)公司使用EVS的直播視頻制作解決方案建立了新加坡首個(gè)4K準(zhǔn)備就緒虛擬現(xiàn)實(shí)演播室,該新系統(tǒng)是用于國(guó)際體育和娛樂(lè)制作的18000平方英尺設(shè)施的一部分。好萊塢等內(nèi)容制作機(jī)構(gòu)已經(jīng)使用XR等虛擬制作技術(shù)制作出了很多影視劇,國(guó)內(nèi)虛擬演播室也表現(xiàn)卓越。但我們還必須清晰地意識(shí)到:渲染引擎技術(shù)、圖像融合拓展技術(shù)、虛擬資源生產(chǎn)力工具、動(dòng)態(tài)捕捉跟著技術(shù)、攝像成像技術(shù)等國(guó)內(nèi)企業(yè)尚未完全掌握。其中渲染引擎,虛擬制作系統(tǒng),攝像機(jī)系統(tǒng),攝像機(jī)追蹤系統(tǒng)行業(yè)中成熟應(yīng)用都是海外的設(shè)備。

虛擬演播室是一個(gè)復(fù)雜的解決方案。虛擬演播室主要由LED顯示屏、渲染服務(wù)器、合成服務(wù)器、相機(jī)追蹤系統(tǒng)、燈光系統(tǒng)、攝影系統(tǒng)、音響系統(tǒng)等組成。渲染服務(wù)器負(fù)責(zé)虛擬引擎的渲染工作,通過(guò)透視投射將渲染的虛擬畫(huà)面輸出至背景LED屏,由攝像機(jī)完成最終采集。其中最為關(guān)鍵的就是虛擬攝像機(jī)追蹤系統(tǒng)。

3.虛擬攝像機(jī)追蹤系統(tǒng)

虛擬攝像機(jī)追蹤系統(tǒng),是虛擬演播室最為關(guān)鍵的技術(shù)。

實(shí)時(shí)的虛擬攝像機(jī)追蹤系統(tǒng),又稱虛擬攝像機(jī)、相機(jī)追蹤,通過(guò)定位攝像機(jī)的位置和角度,可以將真實(shí)攝像機(jī)的運(yùn)動(dòng)反映到虛擬攝像機(jī)上,并實(shí)時(shí)地預(yù)覽虛擬內(nèi)容的變化。除了位置信息的同步,虛擬攝像機(jī)系統(tǒng)還可調(diào)整相機(jī)的焦距,模擬出鏡頭的變化,以確保能夠完全正確地再現(xiàn)真實(shí)攝像機(jī)的拍攝效果。合成服務(wù)器將不同的硬件設(shè)備進(jìn)行整合鏈接,控制攝像機(jī)追蹤與渲染服務(wù)器,使LED屏幕及屏幕外的虛擬場(chǎng)景實(shí)時(shí)跟蹤攝像機(jī)視角,驅(qū)動(dòng)服務(wù)器渲染引擎渲染該視點(diǎn)所需的虛擬畫(huà)面,在攝像機(jī)鏡頭前與現(xiàn)實(shí)拍攝畫(huà)面合成,營(yíng)造出無(wú)限空間感。鏡頭合成后,即為觀眾在鏡頭前看到的最終影像——無(wú)論鏡頭如何移動(dòng),主持人或演員始終身處在符合正確透視關(guān)系的畫(huà)面中。

虛擬攝像機(jī)追蹤系統(tǒng)一般都會(huì)用到以下技術(shù):

    • 攝像機(jī)跟蹤:用于拍攝實(shí)景鏡頭的物理攝像機(jī)的移動(dòng)被跟蹤并與虛擬環(huán)境中的虛擬攝像機(jī)的移動(dòng)相匹配。這允許虛擬環(huán)境與真人鏡頭一起移動(dòng)和縮放,從而創(chuàng)建更逼真的無(wú)縫集成。

    • 光照和陰影:調(diào)整虛擬環(huán)境中的光照和陰影以匹配真人鏡頭中的光照。這有助于將實(shí)景鏡頭和虛擬環(huán)境融合在一起,使它們看起來(lái)像是屬于同一個(gè)場(chǎng)景。

    • 顏色分級(jí):調(diào)整真人鏡頭的顏色以匹配虛擬環(huán)境的顏色和色調(diào)。這有助于在兩個(gè)元素之間創(chuàng)建更具凝聚力和逼真的外觀。

    • 轉(zhuǎn)軸技術(shù)(Rotoscoping):轉(zhuǎn)軸是從真人鏡頭中手動(dòng)分離對(duì)象或角色的過(guò)程,允許將其放置在虛擬環(huán)境中。這種技術(shù)通常用于真人角色需要與虛擬對(duì)象或環(huán)境進(jìn)行交互的場(chǎng)景。

支撐虛擬攝像機(jī)需要很多軟件能力,以下就是典型的幾個(gè):

3D建模和動(dòng)畫(huà)軟件技術(shù)

3D 建模和動(dòng)畫(huà)軟件是虛擬演播室用來(lái)創(chuàng)建用于沉浸式體驗(yàn)的對(duì)象、角色和環(huán)境的 3D 模型的關(guān)鍵工具。這些模型可以使用建模工具從頭開(kāi)始創(chuàng)建,也可以使用 3D 掃描技術(shù)從真實(shí)世界的對(duì)象中掃描出來(lái)。創(chuàng)建模型后,可以對(duì)它們進(jìn)行動(dòng)畫(huà)處理和裝配以模擬真實(shí)世界的運(yùn)動(dòng)和交互。動(dòng)畫(huà)可以手動(dòng)創(chuàng)建,也可以使用運(yùn)動(dòng)捕捉技術(shù)創(chuàng)建,該技術(shù)捕捉現(xiàn)實(shí)世界中演員或物體的動(dòng)作并將其轉(zhuǎn)化為 3D 動(dòng)畫(huà)。然后將這些 3D 模型和動(dòng)畫(huà)導(dǎo)入到 Unity 或 Unreal Engine 等游戲引擎中,用于創(chuàng)建交互式沉浸式體驗(yàn)。除了角色模型,3D 建模和動(dòng)畫(huà)軟件還可用于創(chuàng)建可在 沉浸式體驗(yàn)中探索的詳細(xì)環(huán)境和對(duì)象。例如,可以創(chuàng)建建筑物的 3D 模型并將其導(dǎo)入3D引擎,供演員和觀眾在虛擬演播室中進(jìn)行體驗(yàn)。

動(dòng)作捕捉和圖像識(shí)別

在虛擬演播室中,動(dòng)作捕捉通常用于創(chuàng)建可用于交互式體驗(yàn)的角色或?qū)ο蟮谋普鎰?dòng)畫(huà)。首先,設(shè)置動(dòng)作捕捉系統(tǒng):在虛擬演播室中使用動(dòng)作捕捉的第一步是設(shè)置動(dòng)作捕捉系統(tǒng)。這通常涉及在被捕獲的演員或物體上放置標(biāo)記或傳感器,以及設(shè)置相機(jī)或其他傳感器來(lái)跟蹤這些標(biāo)記的移動(dòng)。接下來(lái),捕捉動(dòng)作:設(shè)置動(dòng)作捕捉系統(tǒng)后,演員或物體可以執(zhí)行所需的動(dòng)作,并由傳感器捕捉。這可以包括從步行或揮手等簡(jiǎn)單動(dòng)作到戰(zhàn)斗或舞蹈等更復(fù)雜的動(dòng)作。再之后就是處理數(shù)據(jù):動(dòng)作捕捉系統(tǒng)捕獲的數(shù)據(jù)隨后由專用軟件處理,該軟件使用算法將運(yùn)動(dòng)數(shù)據(jù)轉(zhuǎn)換為 3D 動(dòng)畫(huà),導(dǎo)入到 Unity 或 Unreal Engine 等引擎中,用于創(chuàng)建交互式沉浸式體驗(yàn)。

以下是在虛擬演播室中使用圖像識(shí)別的一些具體案例:

    • 跟蹤用戶運(yùn)動(dòng):為了創(chuàng)造真正身臨其境的沉浸式體驗(yàn),系統(tǒng)跟蹤用戶運(yùn)動(dòng)并相應(yīng)地調(diào)整虛擬環(huán)境非常重要。計(jì)算機(jī)視覺(jué)技術(shù)可用于跟蹤用戶頭部、手部和其他身體部位的位置和運(yùn)動(dòng),讓 虛擬系統(tǒng)調(diào)整視角并顯示適當(dāng)?shù)膬?nèi)容。

    • 物體識(shí)別:計(jì)算機(jī)視覺(jué)技術(shù)還可用于識(shí)別和跟蹤用戶環(huán)境中的真實(shí)物體,例如家具或其他障礙物。這允許虛擬系統(tǒng)調(diào)整虛擬環(huán)境以避免碰撞或其他問(wèn)題。

    • 手勢(shì)識(shí)別:計(jì)算機(jī)視覺(jué)技術(shù)可用于識(shí)別和解釋用戶的手勢(shì)和動(dòng)作,使他們能夠以更自然和直觀的方式與虛擬系統(tǒng)進(jìn)行交互。例如,用戶可以揮手來(lái)選擇菜單中的選項(xiàng),或者做出抓取動(dòng)作來(lái)拾取和操縱虛擬對(duì)象。

    • 面部識(shí)別:計(jì)算機(jī)視覺(jué)技術(shù)可用于識(shí)別用戶的面部和情緒,讓虛擬系統(tǒng)相應(yīng)地調(diào)整體驗(yàn)。例如,如果用戶皺著眉頭,系統(tǒng)可以調(diào)整燈光或內(nèi)容,使環(huán)境更加愉悅和吸引人。

人工智能

在虛擬演播室中,人工智能技術(shù)被大量的運(yùn)用。比如上文我們說(shuō)的3D建模,AI可以通過(guò)AIGC 可用于根據(jù)特定規(guī)則和參數(shù)以程序方式生成虛擬環(huán)境和對(duì)象。這可以為設(shè)計(jì)人員節(jié)省時(shí)間和精力,還可以創(chuàng)建更復(fù)雜和逼真的環(huán)境。AI 算法還可用于生成高質(zhì)量的 CGI 元素,例如角色、環(huán)境和特效。這可以節(jié)省時(shí)間并提高最終產(chǎn)品的質(zhì)量。還比如上文說(shuō)到的動(dòng)作捕捉,人工智能算法可用于分析演員和觀眾的數(shù)據(jù)并預(yù)測(cè)他們的行為、偏好和對(duì)不同沉浸式體驗(yàn)的反饋。這可以幫助虛擬演播室創(chuàng)造更有效和引人入勝的體驗(yàn)。

4. LED屏幕墻

壯觀的LED屏幕墻,也是虛擬演播室非常重要的技術(shù)。

在虛擬演播室搭建過(guò)程中,LED墻必須滿足一系列關(guān)鍵的指標(biāo)參數(shù):

    • 分辨率(Resolution):從人眼識(shí)別度來(lái)看,像素尺寸要保證在300ppi(每英寸300個(gè)像素)或者更高,一般而言,LED顯示墻由很多單塊的顯示屏拼接而成,每塊顯示屏最好在保證300ppi的基礎(chǔ)上滿足4K分辨率。

    • 亮度(Brightness):虛擬制作工作室 LED 屏幕所需的亮度水平取決于多種因素,例如工作室的環(huán)境照明條件、顯示的內(nèi)容以及屏幕所需的視覺(jué)效果。一般而言,建議虛擬制作工作室 LED 屏幕的亮度級(jí)別至少為 1,000 尼特,以確保即使在光線充足的環(huán)境中,屏幕上顯示的圖像也顯得明亮而充滿活力。然而,一些高端 LED 屏幕的亮度可高達(dá) 2,000 尼特或更高,這有利于創(chuàng)建高對(duì)比度、生動(dòng)的圖像。值得注意的是,更高的亮度水平也會(huì)導(dǎo)致功耗和發(fā)熱增加,從而影響 LED 屏幕的整體性能和壽命。因此,重要的是要考慮制作的整體需求,并平衡所需的亮度水平與其他因素,如功耗、散熱和維護(hù)要求。

    • 色彩要求(Color Gamut):一般情況下,虛擬制作工作室的LED屏幕具有廣色域和高色彩精度,是創(chuàng)建逼真、充滿活力的虛擬環(huán)境的首選。建議色域至少為 DCI-P3 色彩空間的 95%,因?yàn)檫@提供了可以在屏幕上準(zhǔn)確顯示的多種顏色。色彩準(zhǔn)確性也是虛擬制作的一個(gè)重要考慮因素,因?yàn)樗_保屏幕上顯示的色彩逼真并與虛擬環(huán)境的預(yù)期外觀相匹配。Delta E <2 的色彩準(zhǔn)確度等級(jí)被認(rèn)為是優(yōu)秀的,推薦用于虛擬制作工作室 LED 屏幕。

    • 刷新率(Refresh Rate):一般來(lái)說(shuō),虛擬制作首選較高的刷新率,因?yàn)樗兄跍p少運(yùn)動(dòng)模糊并確??焖僖苿?dòng)的物體在屏幕上顯得流暢自然。建議虛擬制作工作室 LED 屏幕的刷新率至少為 120Hz,但一些高端屏幕的刷新率可能高達(dá) 240Hz。再高的刷新率人肉眼已經(jīng)無(wú)法分辨,建議不必過(guò)度追求完美。

    • 視角(Viewing angle):通常,虛擬制作工作室的 LED 屏幕首選寬視角,因?yàn)樗梢源_保屏幕上顯示的圖像即使從不同角度觀看也能保持清晰和生動(dòng)。建議虛擬制作工作室 LED 屏幕的視角至少為 160 度,盡管一些高端屏幕的視角可能高達(dá) 180 度。值得注意的是,實(shí)現(xiàn)寬視角對(duì) LED 屏幕來(lái)說(shuō)具有挑戰(zhàn)性,因?yàn)樗鼈兺ǔJ潜彻獾模⑶以跇O端角度下很難保持色彩準(zhǔn)確度和亮度水平。因此,重要的是在購(gòu)買(mǎi)之前仔細(xì)評(píng)估任何虛擬制作工作室 LED 屏幕的視角,并考慮預(yù)期的拍攝和觀看環(huán)境等因素。

    • 像素間距(Pixel pitch):一般來(lái)說(shuō),較小的像素間距是虛擬制作工作室 LED 屏幕的首選,因?yàn)樗梢栽谔摂M環(huán)境中實(shí)現(xiàn)更高的分辨率和更高級(jí)別的細(xì)節(jié)。建議虛擬制作工作室 LED 屏幕的像素間距為 1.5 毫米或更小。小間距LED顯示屏表現(xiàn)力極好,呈現(xiàn)效果逼真,即使在低亮度下顯示屏灰度也表現(xiàn)幾乎完美。拍攝無(wú)摩爾紋,可以高度還原畫(huà)面細(xì)節(jié)。值得注意的是,實(shí)現(xiàn)小像素間距對(duì) LED 屏幕來(lái)說(shuō)具有挑戰(zhàn)性,因?yàn)樗枰獙⒏嗟膯蝹€(gè) LED 緊密放置在屏幕上。因此,重要的是在購(gòu)買(mǎi)之前仔細(xì)評(píng)估任何虛擬制作工作室 LED 屏幕的像素間距,并考慮預(yù)期觀看距離、屏幕尺寸和虛擬環(huán)境中所需的細(xì)節(jié)水平等因素。

    • 對(duì)比度(Contrast ratio):一般來(lái)說(shuō),虛擬制作工作室的 LED 屏幕首選高對(duì)比度,因?yàn)樗梢愿玫貐^(qū)分圖像的暗區(qū)和亮區(qū)。建議虛擬制作工作室 LED 屏幕的對(duì)比度至少為 3000:1,一些高端屏幕的對(duì)比度可能高達(dá) 10,000:1。

    • 重量和薄度(Weight and thinness):重量和薄度是選擇虛擬制作工作室 LED 屏幕時(shí)要考慮的重要因素,必須要最大程度地減少每平方米顯示屏的重量。因?yàn)樗鼈儠?huì)影響屏幕的安全性、移動(dòng)性和易安裝性。輕薄的 LED 屏幕通常是虛擬制作工作室的首選,因?yàn)樗梢愿鶕?jù)需要在不同位置之間輕松安裝和移動(dòng)。此外,較輕的屏幕可以降低安裝和維護(hù)過(guò)程中人身傷害的風(fēng)險(xiǎn)。

5. XR延展影棚

XR是擴(kuò)展現(xiàn)實(shí)(Extended Reality)的英文縮寫(xiě)。我們可以認(rèn)為XR是AR和VR都是對(duì)現(xiàn)實(shí)的補(bǔ)充。XR是將現(xiàn)實(shí)和LED上的虛擬環(huán)境進(jìn)行充分融合。XR延展拍攝,是指使用視覺(jué)交互技術(shù),通過(guò)制作服務(wù)器將真實(shí)與虛擬相結(jié)合,利用LED顯示屏打造一個(gè)可人機(jī)交互的虛擬環(huán)境,為觀眾帶來(lái)虛擬世界與現(xiàn)實(shí)世界之間無(wú)縫轉(zhuǎn)換的“沉浸感”。XR 延展影棚通常結(jié)合使用3D 建模和動(dòng)畫(huà)軟件、游戲引擎、動(dòng)作捕捉系統(tǒng)以及虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)硬件來(lái)創(chuàng)造身臨其境的體驗(yàn)。這里的LED或者象瓷磚一樣被安裝在空間的天花板,墻體和地面,還可以安裝在類(lèi)似洞穴等異形空間。或者被安裝在活動(dòng)導(dǎo)軌上根據(jù)場(chǎng)景需求進(jìn)行移動(dòng)。這些屏幕上顯示的內(nèi)容往往是在實(shí)時(shí)生成軟件或游戲引擎(如 Notch 或虛幻引擎)中創(chuàng)建的環(huán)境。為了創(chuàng)造一個(gè)超越 LED 背景的整個(gè)世界,通常會(huì)結(jié)合了攝像機(jī)跟蹤和實(shí)時(shí)渲染。該技術(shù)使這些屏幕上的內(nèi)容能夠從相機(jī)的角度動(dòng)態(tài)呈現(xiàn)。因此,當(dāng)相機(jī)移動(dòng)時(shí),觀眾看到的內(nèi)容也會(huì)移動(dòng),這樣會(huì)創(chuàng)造出真實(shí)環(huán)境的錯(cuò)覺(jué)。與看不到周?chē)h(huán)境的綠幕不同,背景可以隨鏡頭移動(dòng),任何深處這個(gè)環(huán)境中的人,不管是演員,還是觀眾,都不必想象自己身處的地方,他們可以直接體驗(yàn)。XR擴(kuò)展影棚擁有所有VP攝影棚的優(yōu)點(diǎn),而且會(huì)增加更多的沉浸感。

XR延展影棚可用于網(wǎng)絡(luò)直播、電視臺(tái)直播、虛擬音樂(lè)會(huì)、虛擬晚會(huì)和廣告拍攝等場(chǎng)景。XR延展影棚拍攝可以將虛擬內(nèi)容擴(kuò)展到LED舞臺(tái)之外,使虛擬和現(xiàn)實(shí)實(shí)時(shí)疊加,增強(qiáng)觀眾的視覺(jué)沖擊感和藝術(shù)創(chuàng)意感,讓內(nèi)容創(chuàng)作者在有限的空間創(chuàng)造出無(wú)限可能,盡情追求無(wú)盡的視覺(jué)體驗(yàn)。

這兩年,XR延展影棚頻頻亮相,再次敲響市場(chǎng)的大門(mén)。XR制作方案已擁有眾多成熟案例。央視春晚XR舞臺(tái) 、北京冬奧會(huì)開(kāi)幕式、戛納XR沉浸影像獲獎(jiǎng)等等……

2020年12月,咪咕文化利用5G+4K/8K+XR技術(shù)在廣州舉行了第十四屆音樂(lè)盛典“咪咕匯”,在國(guó)家大劇院舉辦“龍鳳呈祥”演出,實(shí)現(xiàn)云上演出以及云端觀眾互動(dòng)2021年3月,愛(ài)奇藝正式發(fā)布演出產(chǎn)品“虛實(shí)之城”沉浸式虛擬演唱會(huì),全程使用XR技術(shù)呈現(xiàn)表演,實(shí)現(xiàn)沉浸式的虛擬舞臺(tái)演出,該演唱會(huì)網(wǎng)絡(luò)觀看量突破3000萬(wàn)次;2020年第26屆格萊美獎(jiǎng)獲得者Travis Scott選擇《堡壘之夜》游戲世界中的一個(gè)虛擬地點(diǎn)開(kāi)展演唱會(huì),據(jù)估計(jì)有1800萬(wàn)觀眾在線觀看了虛擬演唱會(huì);2021牛年春晚創(chuàng)新采用XR的演播環(huán)境,將知名歌手的表演與虛擬背景融為一體,展現(xiàn)出不同尋常的科技感體驗(yàn);2022年CGN的全球會(huì)客廳中秋特輯,全程使用XR演播室進(jìn)行制作。

5. 寫(xiě)在最后

隨著5G、人工智能、AR/VR/MR等虛實(shí)結(jié)合技術(shù)的快速發(fā)展,文化產(chǎn)業(yè)數(shù)字化的腳步正在加快,加之人民群眾日益提高的物質(zhì)生活水平,伴隨而來(lái)的是更高的精神需求,觀眾不再滿足于以往千篇一律的內(nèi)容呈現(xiàn)形態(tài),近年來(lái)對(duì)沉浸式、互動(dòng)式、虛實(shí)結(jié)合、異地互聯(lián)等數(shù)字文創(chuàng)內(nèi)容表現(xiàn)出極大的興趣,人們希望看到超越傳統(tǒng)演繹效果的精彩內(nèi)容。除了電影電視,大型音樂(lè)會(huì)演唱會(huì)之外,還可以實(shí)現(xiàn)短視頻虛擬制作、虛擬擴(kuò)展直播、數(shù)字人實(shí)時(shí)互動(dòng)、展覽、廣告活動(dòng)等應(yīng)用方向。相信,虛擬演播室應(yīng)用前景必然會(huì)更加廣闊。

好了,今天,我們就先聊到這里,下一期,我們?cè)僬归_(kāi)談一下超高清視頻的另外一個(gè)話題視頻云技術(shù)。

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 開(kāi)源技術(shù)
    +關(guān)注

    關(guān)注

    0

    文章

    389

    瀏覽量

    7891
  • OpenHarmony
    +關(guān)注

    關(guān)注

    25

    文章

    3611

    瀏覽量

    15971

原文標(biāo)題:河套IT TALK 69: (原創(chuàng)) 沉浸式的虛擬演播室技術(shù)(萬(wàn)字長(zhǎng)文)

文章出處:【微信號(hào):開(kāi)源技術(shù)服務(wù)中心,微信公眾號(hào):共熵服務(wù)中心】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    單日獲客成本超20萬(wàn),國(guó)產(chǎn)大模型開(kāi)卷200萬(wàn)字以上的長(zhǎng)文本處理

    更精準(zhǔn)的推理和高并發(fā)流量以外,似乎已經(jīng)沒(méi)有太多值得廠商大肆宣傳的特性了,直到最近超長(zhǎng)文本處理的爆火。 ? 國(guó)產(chǎn)大模型的新卷法,長(zhǎng)文本處理 ? 當(dāng)下將大模型長(zhǎng)文本處理炒熱的,無(wú)疑是來(lái)自月之暗面的Kimi。作為去年發(fā)布的大模型,Ki
    的頭像 發(fā)表于 03-27 00:53 ?3255次閱讀
    單日獲客成本超20<b class='flag-5'>萬(wàn)</b>,國(guó)產(chǎn)大模型開(kāi)卷200<b class='flag-5'>萬(wàn)字</b>以上的<b class='flag-5'>長(zhǎng)文</b>本處理

    寧波電視臺(tái)融合XR技術(shù)虛擬演播室,秀狐科技助力數(shù)字化視聽(tīng)革新

    在國(guó)家“十四五”數(shù)字經(jīng)濟(jì)規(guī)劃的引領(lǐng)下,寧波廣電集團(tuán)把握時(shí)代脈搏,憑借其前瞻性的技術(shù)布局,引入了業(yè)界前沿的XR虛擬演播室,推動(dòng)數(shù)字內(nèi)容制作與傳播的革新。 寧波電視臺(tái)XR演播室搭載秀狐科技
    的頭像 發(fā)表于 09-18 09:38 ?244次閱讀
    寧波電視臺(tái)融合XR<b class='flag-5'>技術(shù)</b><b class='flag-5'>虛擬</b><b class='flag-5'>演播室</b>,秀狐科技助力數(shù)字化視聽(tīng)革新

    虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用領(lǐng)域有哪些

    虛擬現(xiàn)實(shí)技術(shù)(Virtual Reality,簡(jiǎn)稱VR)是一種通過(guò)計(jì)算機(jī)生成的三維環(huán)境,使用戶能夠沉浸其中并與之互動(dòng)的技術(shù)。近年來(lái),隨著計(jì)算機(jī)技術(shù)
    的頭像 發(fā)表于 07-04 14:14 ?1581次閱讀

    萬(wàn)字長(zhǎng)文淺談系統(tǒng)穩(wěn)定性建設(shè)

    流程:需求階段,研發(fā)階段,測(cè)試階段,上線階段,運(yùn)維階段;整個(gè)流程中的所有參與人員:產(chǎn)品,研發(fā),測(cè)試,運(yùn)維人員都應(yīng)關(guān)注系統(tǒng)的穩(wěn)定性。業(yè)務(wù)的發(fā)展及系統(tǒng)建設(shè)過(guò)程中,穩(wěn)定性就是那個(gè)1,其他的是1后面的0,沒(méi)有穩(wěn)定性,就好比將萬(wàn)
    的頭像 發(fā)表于 07-02 10:31 ?306次閱讀
    <b class='flag-5'>萬(wàn)字長(zhǎng)文</b>淺談系統(tǒng)穩(wěn)定性建設(shè)

    MiniMax推出“海螺AI”,支持超長(zhǎng)文本處理

    近日,大模型公司MiniMax宣布,其全新產(chǎn)品“海螺AI”已正式上架。這款強(qiáng)大的AI工具支持高達(dá)200ktokens的上下文長(zhǎng)度,能夠在1秒內(nèi)處理近3萬(wàn)字的文本。
    的頭像 發(fā)表于 05-17 09:30 ?647次閱讀

    洲明攜手18家生態(tài)合作伙伴亮相2024美國(guó)廣播電視展NAB

    在廣播展區(qū)核心區(qū)域,由星鉆系列UpanelS LED顯示屏構(gòu)成的“沉浸演播室”人氣相當(dāng)高。
    的頭像 發(fā)表于 04-19 09:57 ?329次閱讀

    Moku + Apple Vision Pro時(shí)空之旅: 探索沉浸光學(xué)實(shí)驗(yàn)體驗(yàn)

    LiquidInstruments今天宣布了又一項(xiàng)重大更新,Moku平臺(tái)現(xiàn)已與AppleVisionPro完美結(jié)合,推出了全新的交互3D測(cè)試系統(tǒng),為光學(xué)研究人員帶來(lái)了前所未有的“沉浸”實(shí)驗(yàn)
    的頭像 發(fā)表于 03-29 08:15 ?680次閱讀
    Moku + Apple Vision Pro時(shí)空之旅: 探索<b class='flag-5'>沉浸</b><b class='flag-5'>式</b>光學(xué)實(shí)驗(yàn)<b class='flag-5'>室</b>體驗(yàn)

    阿里通義千問(wèn)重磅升級(jí),免費(fèi)開(kāi)放1000萬(wàn)字長(zhǎng)文檔處理功能

    近日,阿里巴巴旗下的人工智能應(yīng)用通義千問(wèn)迎來(lái)重磅升級(jí),宣布向所有人免費(fèi)開(kāi)放1000萬(wàn)字長(zhǎng)文檔處理功能,這一創(chuàng)新舉措使得通義千問(wèn)成為全球文檔處理容量第一的AI應(yīng)用。
    的頭像 發(fā)表于 03-26 11:09 ?695次閱讀

    虛擬現(xiàn)實(shí)仍不現(xiàn)實(shí),沉浸體驗(yàn)先看視覺(jué)跳動(dòng)智能激光屏

    盡管當(dāng)前的互聯(lián)網(wǎng)基礎(chǔ)設(shè)施、云計(jì)算和VR技術(shù)水平還無(wú)法支撐實(shí)現(xiàn)完整的元宇宙體驗(yàn),但可以通過(guò)突破人機(jī)的物理距離來(lái)實(shí)現(xiàn)更加現(xiàn)實(shí)的沉浸體驗(yàn)。以視覺(jué)跳動(dòng)智能激光屏為例,讓我們感受當(dāng)前技術(shù)條件下
    的頭像 發(fā)表于 03-08 10:47 ?849次閱讀

    “單純靠大模型無(wú)法實(shí)現(xiàn) AGI”!萬(wàn)字長(zhǎng)文看人工智能演進(jìn)

    人工智能是指讓計(jì)算機(jī)或機(jī)器具有類(lèi)似于人類(lèi)智能的能力,如學(xué)習(xí)、推理、解決問(wèn)題和使用語(yǔ)言、常識(shí)、創(chuàng)造力、情感和道德等。
    的頭像 發(fā)表于 02-19 14:22 ?991次閱讀
    “單純靠大模型無(wú)法實(shí)現(xiàn) AGI”!<b class='flag-5'>萬(wàn)字長(zhǎng)文</b>看人工智能演進(jìn)

    鴻蒙應(yīng)用/元服務(wù)開(kāi)發(fā)-窗口(Stage模型)體驗(yàn)窗口沉浸能力

    一、體驗(yàn)窗口沉浸能力說(shuō)明 在看視頻、玩游戲等場(chǎng)景下,用戶往往希望隱藏狀態(tài)欄、導(dǎo)航欄等不必要的系統(tǒng)窗口,從而獲得更佳的沉浸體驗(yàn)。此時(shí)可以借助窗口
    發(fā)表于 02-06 15:08

    使用e2演播室或IAR EW Rev.2.00 Azure RTOS示例項(xiàng)目應(yīng)用說(shuō)明

    電子發(fā)燒友網(wǎng)站提供《使用e2演播室或IAR EW Rev.2.00 Azure RTOS示例項(xiàng)目應(yīng)用說(shuō)明.pdf》資料免費(fèi)下載
    發(fā)表于 01-29 11:41 ?0次下載
    使用e2<b class='flag-5'>演播室</b>或IAR EW Rev.2.00 Azure RTOS示例項(xiàng)目應(yīng)用說(shuō)明

    如何用AI聊天機(jī)器人寫(xiě)出萬(wàn)字長(zhǎng)文

    如何用AI聊天機(jī)器人寫(xiě)出萬(wàn)字長(zhǎng)文
    的頭像 發(fā)表于 12-26 16:25 ?1003次閱讀

    22000字長(zhǎng)文傳感器發(fā)展簡(jiǎn)史

    本文內(nèi)容相對(duì)較“雜”,長(zhǎng)達(dá)20000,涉及傳感器發(fā)展歷史、各國(guó)傳感器產(chǎn)業(yè)研究、傳感器產(chǎn)業(yè)體系、現(xiàn)狀和發(fā)展、國(guó)內(nèi)外主流傳感器企業(yè)介紹等內(nèi)容,對(duì)整體了解中國(guó)傳感器產(chǎn)業(yè)比較有幫助。 文中指出過(guò)去25年來(lái)
    的頭像 發(fā)表于 11-20 15:12 ?544次閱讀
    22000<b class='flag-5'>字長(zhǎng)文</b>傳感器發(fā)展簡(jiǎn)史

    全面!萬(wàn)字長(zhǎng)文解析全球激光雷達(dá)產(chǎn)業(yè)技術(shù)及市場(chǎng)格局

    成熟,激光雷達(dá)行業(yè)將迎來(lái)廣闊的發(fā)展空間。? 根據(jù) Velodyne 預(yù)測(cè),2022 年激光雷達(dá)市場(chǎng)規(guī)模將達(dá)到 119 億美元,其中約 72 億美元來(lái)自汽車(chē)領(lǐng)域的應(yīng)用,占比約 60%。在自動(dòng)汽車(chē)領(lǐng)域中,機(jī)械和固態(tài)激光雷達(dá)的技術(shù)
    的頭像 發(fā)表于 11-20 15:05 ?739次閱讀
    全面!<b class='flag-5'>萬(wàn)字長(zhǎng)文</b>解析全球激光雷達(dá)產(chǎn)業(yè)<b class='flag-5'>技術(shù)</b>及市場(chǎng)格局