XR+LED虛擬拍攝的技術原理

LED虛擬拍攝技術整合了實時數(shù)字影像、實時光影渲染、實時攝影機運動跟蹤與實時運算等眾多前沿電影科技。通過XR+LED，足不出戶，亦可拍攝大片，能夠顯著降低影視制作的時間、經(jīng)濟成本。

01什么是XR

XR(Extended Reality)擴展現(xiàn)實是一種描述虛擬和現(xiàn)實元素融合或交互行為的術語，通常認為是AR(增強現(xiàn)實)/VR(虛擬現(xiàn)實)/MR(混合現(xiàn)實)等多種技術的統(tǒng)稱，是一種通過攝像機追蹤與實時圖像渲染技術，使顯示介質(LED/投影碗幕)及顯示介質外的虛擬場景實時跟蹤攝像機視角，在攝像機鏡頭前與現(xiàn)實拍攝畫面合成，從而營造出無限空間感的技術。

《潮音實驗室》借助XR擴展技術，打造虛擬沉浸式演唱會

02XR的原理基礎

了解是理解XR技術的重要前提。XR技術貫通虛擬與現(xiàn)實的橋梁，正是建立在原理的基礎之上。

日常生活中，把人物P在旅游景點前的合成照片，有的能以假亂真，有的卻能一眼看出作假。讓合成照看起來真實的條件之一就是合理處理人物與背景之間的空間關系，也即關系，合成照片上的所有物體都必須在空間中擁有統(tǒng)一的點。如果照片中的背景是采用俯視的角度拍攝的，那么需要合成的那個人，絕不能采用仰視下的形象。否則，看起來就會感覺圖片畫面不協(xié)調，有不真實的感覺。

照片中的所有物體都必須在空間中擁有統(tǒng)一的點 否則圖片就會產(chǎn)生不真實感

這是在二維平面上，混淆虛擬與現(xiàn)實的做法。

那么在三維空間中如何逼真的做到混淆虛擬與現(xiàn)實呢?

2021年，身在千里之外的香港藝人劉德華通過XR技術實現(xiàn)與央視春晚演員同臺演出

如果要合成一段視頻，演員身處室內，然而在鏡頭下其身后卻是一整片森林，除了利用傳統(tǒng)的綠幕+摳圖方法，還有其他途徑嗎?

如果攝像機鏡頭固定且位置合適，甚至可以在演員身后直接掛一面巨幅的森林圖案畫布，只要演員和背景平面都在鏡頭下呈現(xiàn)出正確的關系，就能滿足一些最初級的需求。

但鏡頭一旦移動，背景森林實為平面畫布的事實便無論如何也無法遮掩。

實際上，場景背景的真實感，正是在鏡頭移動的過程中得到塑造并增強的。在鏡頭推拉搖移的每一幀，如俯瞰時的大全景、跟拍時的中景——演員的身后都應當呈現(xiàn)出一個在這個位置、這個角度，滿足真實關系的背景場景。

如果當攝像機旋轉或改變角度時，演員身后的背景也能契合攝像機鏡頭同步完成角度的改變就好了。

而這就是XR技術要解決的問題。

視頻場景背景的真實感，通過在鏡頭移動的過程中得到塑造并增強

03XR實現(xiàn)的技術設備條件

了解了XR的概念和原理基礎，在實際應用中，應如何實現(xiàn)呢?

目前行業(yè)主流XR技術的實現(xiàn)所需要的技術設備主要包括：LED顯示屏、LED控制系統(tǒng)、虛擬渲染系統(tǒng)、攝影機及追蹤定位系統(tǒng)、同步系統(tǒng)以及其他輔助系統(tǒng)等。憑借以上技術設備。通過實時的工作流程，可將表演者融入到虛擬世界中而無需綠幕及后期制作，并即時輸出最終畫面。

整體技術框架如下圖所示：

XR場景技術框架包括由LED顯示屏組成的拍攝場地、攝像機、物體位置追蹤與定位技術、實時圖形渲染引擎(AR技術)、高速低延遲的網(wǎng)絡等幾大元素組成

其中：

LED控制系統(tǒng)

主要承擔接收虛擬渲染畫面，并輸出至LED顯示屏，優(yōu)秀的控制系統(tǒng)需具備高超的視頻處理能力、可以對LED屏體進行精確的色彩管理和亮度調節(jié)，最大程度的展現(xiàn)出LED屏體應有的顯示效果，并且在硬件端對XR的特殊應用需求(如多機位、高幀率等)提供技術支撐。

虛擬渲染系統(tǒng)

主要包含媒體服務器和實時渲染引擎，主控媒體服務器主要負責控制渲染引擎，處理攝影機數(shù)據(jù)，輸出LED視頻源畫面。實時渲染引擎提供虛擬數(shù)字資產(chǎn)的整合與制作，搭建完整的虛擬拓展空間。

攝像機系統(tǒng)

拍攝現(xiàn)實畫面并回傳給虛擬渲染系統(tǒng)，需要使用專業(yè)級影視攝像機，以實現(xiàn)清晰無損的真實畫面采集。一般會使用支持120Hz以上采集幀率的攝像機。

追蹤定位系統(tǒng)

主要用于定位實現(xiàn)現(xiàn)實攝像機位移及鏡頭轉動數(shù)據(jù)，定位系統(tǒng)的關鍵指標是精準度、自由度和低延遲，較常用的有機械追蹤(云臺、機械臂等)、光學定位，以及其他紅外追蹤、視覺相機追蹤等。

同步系統(tǒng)

主要用于XR整體工作流程的基準時間與畫面幀，獨立而精確的同步系統(tǒng)是XR項目的必要條件，通過同步系統(tǒng)可以有效降低攝像機在拍攝LED屏體時出現(xiàn)的掃描線、黑場等問題，也可以通過控制同步時間搭配LED控制系統(tǒng)實現(xiàn)多機位拍攝效果。

XR場景技術實際操作流程

XR技術是近幾年快速發(fā)展的新興技術，相較傳統(tǒng)的綠幕+摳圖的虛擬拍攝方式，XR+LED顯示屏具有顯著的優(yōu)點。未來在技術的快速迭代和需求創(chuàng)新的內在驅動下，方興未艾的XR技術定將迎來屬于自己的一片廣闊天地。

審核編輯：湯梓紅