xr虛擬跟拍拍攝系統(tǒng)

想知道XR虛擬演播廳是怎么實現(xiàn)的嗎？來看看XR虛擬演播廳技術(shù)分解吧！
近來，XR技術(shù)開始走進(jìn)大眾視野，越來越多的演唱會、發(fā)布會現(xiàn)場、電影拍攝現(xiàn)場以及電視節(jié)目等開始運(yùn)用高科技感以及逼真感十足的XR技術(shù)，開辟拍攝制作又一新玩法。眾所周知，XR技術(shù)是一種融合AR、VR、MR技術(shù)的擴(kuò)展顯示技術(shù)，那XR技術(shù)是如何融合并在屏幕前實現(xiàn)炫酷畫面的呢?
XR場景技術(shù)框架包括LED顯示屏組成的拍攝場地、攝像機(jī)、物體位置追蹤與定位技術(shù)、實時圖形渲染引擎(AR技術(shù))、高速低延遲的網(wǎng)絡(luò)等幾大元素，最后將內(nèi)容傳輸顯示屏幕前，就成為炫酷的逼真的XR場景。
XR場景的實現(xiàn)，首先將虛擬環(huán)境傳輸至現(xiàn)場的LED顯示屏，采用物體位置追蹤與定位技術(shù)對物體進(jìn)行跟蹤拍攝，并將素材傳回至實時圖形渲染引擎。與此同時，視頻服務(wù)器則用本地化運(yùn)行邏輯運(yùn)算進(jìn)行人物手勢分析及圖形渲染，輸出立體的逼真的AR內(nèi)容與拍攝素材交互呈現(xiàn)，而在屏幕前呈現(xiàn)的內(nèi)容就是XR場景。值得注意的是，在現(xiàn)場還需要強(qiáng)大的網(wǎng)絡(luò)支持，為實現(xiàn)XR低時延交互、全景視頻等內(nèi)容大帶寬下發(fā)等提供強(qiáng)有力的支持。簡單的說，XR場景就是基于現(xiàn)實場景，與后臺炫酷的AR內(nèi)容進(jìn)行結(jié)合交互而來的，所以XR技術(shù)被譽(yù)為AR、VR、MR技術(shù)的融合。
我國短片《只為夢中與你相遇》，首次采用虛擬拍攝方式，把 XR工作流程與影視行業(yè)的工作流程相結(jié)合并實行最終內(nèi)容的輸出。短片現(xiàn)場無實景、無綠幕，實時渲染場景，而演員在LED屏幕所構(gòu)建的空間中進(jìn)行表演。在場景渲染上，XR擴(kuò)展現(xiàn)實使用實時渲染引擎搭建拍攝場景，通過媒體服務(wù)器輸出合成，運(yùn)用攝像機(jī)追蹤系統(tǒng)定位空間位置信息，實時映射人物與場景的空間關(guān)系，實時渲染技術(shù)將照片級別的動態(tài)數(shù)字場景，在LED屏幕上還原，并實時呈現(xiàn)并輸出一個無死角的虛擬場景，最終形成具有XR場景的短片。
此外，2022年的英雄聯(lián)盟全球總決賽舞臺也采用了XR技術(shù)進(jìn)行實時直播。由于是現(xiàn)場直播，沒有任何重來的機(jī)會，所以一場比賽就有幾十臺攝像機(jī)參與其中。現(xiàn)場使用的全部是紅外攝像機(jī)，而且在S10現(xiàn)場的墻壁上，有大量的這種小點，這些小點的目的是為了反射紅外線。所有的紅外攝像機(jī)都會安裝一個特殊的模塊，當(dāng)攝像機(jī)移動時，它們會根據(jù)這些點的反射還有方向等，對攝像機(jī)本身進(jìn)行跟蹤，再實時反饋給計算機(jī)中，這套技術(shù)方案使得虛擬和現(xiàn)實的誤差小于1毫米。另外，團(tuán)隊通過自己開發(fā)的插件，把Unreal引擎中的燈光與現(xiàn)實中的skypanel進(jìn)行了匹配，也就意味著引擎里的燈光發(fā)生變化，現(xiàn)實中燈光也會進(jìn)行同步，虛擬內(nèi)容與賽場交互融合，呈現(xiàn)一個新的賽事直播方式。
11月10號，我國"奮斗者"號載人潛水器成功坐底馬里亞納海溝的重要時刻，中央廣播電視總臺央視新聞頻道、央視新聞新媒體通過xR虛擬演播進(jìn)行了同步科普講解。用虛擬環(huán)境將 LED 屏幕之外的現(xiàn)實環(huán)境實時覆蓋，并完成虛擬環(huán)境拓展的處理。詳細(xì)地說就是，攝影機(jī)追蹤系統(tǒng) Mosys 的運(yùn)用使得直播中的現(xiàn)場攝像機(jī)與虛擬攝像機(jī)始終保持一致與同步，并在 XR 虛擬演播室現(xiàn)場使用了1臺 disguise vx4 媒體服務(wù)器，作為虛擬渲染引擎增強(qiáng)渲染和控制，而工作流程將 AR 技術(shù)帶入環(huán)境之中，通過使用 Black Trax 動態(tài)追蹤系統(tǒng)實時了解參演者和虛擬影像的位置，從而與 CG 內(nèi)容更好的互動融合，給觀眾一種身臨其境的體驗，將視覺效果的傳遞提升到一個新的維度，與全國觀眾全景體驗大洋10909米處的至深之藍(lán)。
極具未來科技感的XR技術(shù)已經(jīng)在我國生根發(fā)芽，個別已經(jīng)開出美麗的花。雖然XR技術(shù)才剛剛興起，但目前應(yīng)用范圍已經(jīng)逐漸被拓寬，技術(shù)也愈加成熟。隨著小間距顯示技術(shù)的進(jìn)一步成熟，以及點間距的進(jìn)一步下探，高清細(xì)膩且可以實現(xiàn)裸眼3D顯示，未來可以更好地當(dāng)好背景板;5G網(wǎng)絡(luò)的進(jìn)一步落地，XR技術(shù)知名度的持續(xù)提升，以及相關(guān)人員技術(shù)培訓(xùn)體系的完善等，都將推動XR技術(shù)開始走向成熟。

審核編輯黃昊宇