XR虛擬演播廳的詳細(xì)拍攝流程

XR虛擬演播廳的詳細(xì)拍攝流程
在虛擬制作中，首先重要的是快速且精準(zhǔn)的攝像機(jī)追蹤系統(tǒng)，通過這套系統(tǒng)，我們可以以極低的延遲為代價(jià)，在虛擬系統(tǒng)中完整模擬真實(shí)攝像機(jī)的實(shí)時(shí)位姿和鏡頭參數(shù)，并將這些信息傳遞給渲染引擎，從而計(jì)算出正確的畫面并回傳。另一方面LED屏幕可以將大部分拍攝內(nèi)容顯示在背景上，通過目前的SpatialMapping，也就是我們說的動態(tài)的Perspectivemaping，能將畫面以正確的透視關(guān)系呈現(xiàn)出來，并且和真實(shí)世界的人物和事物疊加在一起進(jìn)行拍攝。
上面說的是一個(gè)MR的流程，此外還有AR層面的內(nèi)容，即以同樣的方式，疊加在整個(gè)畫面的最前層，從而實(shí)現(xiàn)“現(xiàn)實(shí)層”，也就是剛才提到的真實(shí)人物和事物，同時(shí)疊加LED，也就是MR中的“后景”，以及AR中的“前景”的效果。并組合成完整的畫面。
XR虛擬拍攝這個(gè)流程是這樣理解的，以一幀畫面的生成為例，流程如下：
01、攝像機(jī)追蹤：把攝像機(jī)的各個(gè)參數(shù)回傳到disguise系統(tǒng)內(nèi)，再傳輸?shù)経E、Unity、Notch等引擎當(dāng)中。
02、渲染引擎渲染：引擎收到攝像機(jī)數(shù)據(jù)后，在場景內(nèi)模擬出相機(jī)的狀態(tài)，并根據(jù)這個(gè)狀態(tài)，渲染出攝像機(jī)拍攝的一幀畫面并回傳disguise系統(tǒng)。
03、disguise系統(tǒng)收到這一幀畫面以后，由于內(nèi)部已經(jīng)有了LED的精準(zhǔn)模型，會根據(jù)攝像機(jī)的透視關(guān)系，把畫面拆成“MR”和“SetExtension”兩部分。并把MR的部分輸出給LED。
04、LED顯示出這一幀畫面之后，連同屏幕區(qū)域內(nèi)的人物和事物，真實(shí)的攝像機(jī)會拍攝這一幀畫面，并把拍攝的一幀發(fā)送回disguise系統(tǒng)。
05、Disguise系統(tǒng)收到了拍攝的這一幀，再把剛才拆分畫面剩下的“SetExtension”貼回畫面。形成一整幀16：9的畫面。同時(shí)再在上面貼合AR畫面，并最終輸出。
06、這一整幀畫面終于呈現(xiàn)在團(tuán)隊(duì)和觀眾眼前。

審核編輯 黃昊宇