XR虛擬演播廳解決方案

XR是一套以LED屏幕為拍攝背景的影像空間合成技術(shù)，是虛擬制作（Virtual Production）概念的一種應(yīng)用實(shí)踐，可以作為綠幕拍攝技術(shù)的升級方案，應(yīng)用于影視制作和節(jié)目直播。擴(kuò)展現(xiàn)實(shí)通過攝像機(jī)實(shí)時(shí)追蹤技術(shù)、實(shí)時(shí)渲染技術(shù)、多屏幕播控管理技術(shù)，使LED屏幕中呈現(xiàn)出的虛擬場景畫面與屏幕前的“真實(shí)角色”在攝像機(jī)視角下保持正確三點(diǎn)透視關(guān)系，同時(shí)對于LED屏幕之外的畫面通過“前景疊加”（AR）技術(shù)進(jìn)行實(shí)時(shí)合成，最終將“真實(shí)角色”置身于虛擬世界之中，達(dá)到虛實(shí)結(jié)合的視覺效果。

虛擬拍攝，本質(zhì)上是基于XR技術(shù)的一類新興應(yīng)用，它不僅可以應(yīng)用于電影拍攝當(dāng)中，在綜藝、直播、演播室、電視劇等等的拍攝應(yīng)用中皆可應(yīng)用，加上LED大屏幕的沉浸更加營造出實(shí)景難以表現(xiàn)的科幻感。今年4月，《誕辰》在美國廣播電視展(NAB)首映，在業(yè)內(nèi)引起巨大反響。這是全球第一部全片采用虛擬制片(Virtual-Production)的影片。該影片導(dǎo)演介紹到，這部片子采用了三件道具，四天時(shí)間，不需要任何后期特效，現(xiàn)場拍攝出來的即是成片效果?？梢娞摂M拍攝在全球的發(fā)展，以及這項(xiàng)技術(shù)可能帶給相關(guān)產(chǎn)業(yè)的改變。

從一切有賴于后期合成，到目前常見架設(shè)軌道，安裝很多個(gè)傳感器，才能獲得的人在三維場景中景深和景別的變化，最后到今天通過LED顯示+XR技術(shù)驅(qū)動的虛擬拍攝方案，我們逐漸將現(xiàn)實(shí)中的人物、布景與虛擬的3D場景實(shí)時(shí)結(jié)合，透過數(shù)字?jǐn)z影機(jī)進(jìn)行一體化拍攝，并保持光學(xué)鏡頭與虛擬鏡頭的參數(shù)一致，現(xiàn)實(shí)世界與虛擬世界的坐標(biāo)一致，呈現(xiàn)出真實(shí)的視覺關(guān)系和透視效果。

虛擬拍攝系統(tǒng)框架

虛擬拍攝，鏡頭所需的各種元素，包括場景、人物、燈光等，全部被整合進(jìn)了電腦。虛擬拍攝整體架構(gòu)解決方案，主要是由視頻播放系統(tǒng)、虛擬場景渲染系統(tǒng)、虛擬場景制作系統(tǒng)、定位追蹤系統(tǒng)、LED控制系統(tǒng)、以及外設(shè)硬件（攝像機(jī)、LED屏幕）等組成。

虛擬制片與傳統(tǒng)制片對比，優(yōu)勢很多

傳統(tǒng)制片搭建費(fèi)時(shí)費(fèi)力，不可控制因素很多，后期制作反復(fù)調(diào)整很困難，拍攝環(huán)境和過程不可逆，有些可以通過剪輯和特效處理，有些實(shí)在處理不了還得重新拍攝，增加成本和周期。

虛擬制片綜合下來，節(jié)省搭建費(fèi)用60%以上，節(jié)省制作時(shí)間23%以上，節(jié)省執(zhí)行成本50%以上。對于文物和生態(tài)來說保護(hù)到位，是節(jié)能低碳型的拍攝，同時(shí)也大大降低了劇組人員的出行和遷徙。

方案的核心技術(shù)

景隨人動，是這套方案的精髓，我們要做到被攝人物在摳像區(qū)內(nèi)自由走動的時(shí)候達(dá)成近乎真實(shí)的拍攝場景。因此，定位追蹤技術(shù)就顯得額外重要。在這些神奇技術(shù)的背后，是軟硬件的開發(fā)，和人工智能技術(shù)的不斷升級和應(yīng)用。
在這套方案中，我們采用了Xvisio SeerSense?產(chǎn)品作為定位跟蹤設(shè)備，通過定位追蹤將攝像機(jī)與三維場景內(nèi)的虛擬攝像機(jī)綁定，在拍攝時(shí)實(shí)現(xiàn)景隨人動。Xvisio SeerSense?，是一個(gè)進(jìn)行三維虛擬拍攝的場景追蹤系統(tǒng)，只需要把它對接在一臺攝像機(jī)鏡頭上，隨著攝像機(jī)鏡頭的移動，直接就能獲得人在現(xiàn)實(shí)空間中的實(shí)時(shí)位置和運(yùn)動參數(shù)，然后對這些數(shù)據(jù)進(jìn)行運(yùn)算和分析，就可以實(shí)時(shí)獲得完美的虛實(shí)合成畫面。

審核編輯 黃昊宇