谷歌：即時動作追蹤技術(shù)讓物體可以無縫的和動態(tài)的實時環(huán)境進(jìn)行互動

今日，谷歌Research團(tuán)隊在網(wǎng)站上發(fā)表博客稱，為安卓上的Motion Stills（視頻捕捉和觀看app）增加了全新的AR模式。在AR模式下，用戶只需點擊屏幕就可以將有趣的虛擬3D物體放置在靜止，或者移動中的水平面上（比如桌子、地板和手上），讓這些物體可以無縫的和動態(tài)的實時環(huán)境進(jìn)行互動。我們還可以直接錄像以及導(dǎo)出GIF圖和視頻。

這一AR模式由實時動作追蹤功能所實現(xiàn)，這是基于iOS版Motion Stills的Motion Text和YouTube上的privacy blur的技術(shù)所實現(xiàn)的6自由度追蹤，能夠精確的追蹤靜止和移動的物體。谷歌的團(tuán)隊對這一技術(shù)進(jìn)行的完善和提升，使其可以在任何配備了陀螺儀的安卓設(shè)備上實現(xiàn)有趣的AR功能。

當(dāng)用戶碰觸屏幕時，Motion Stills AR能夠?qū)⒁粋€3D的虛擬物體“粘貼”到指定的位置，使其看起來就像真實世界的一部分一樣。通過假定跟蹤表面和地平面是平行的，同時使用設(shè)備的加速傳感器來提供手機(jī)相對于地平面的初始定向，可以追蹤攝像頭的6自由度（3個平移自由度和3個旋轉(zhuǎn)自由度）。這讓我們可以精確的改變和渲染虛擬物體。

即時動作追蹤

即時運(yùn)動跟蹤的核心是將攝像機(jī)的平移和旋轉(zhuǎn)估計分離，將其視為獨立的優(yōu)化問題。 首先，我們只根據(jù)相機(jī)的視覺信號確定3D相機(jī)的平移。 為此，我們觀察目標(biāo)區(qū)域的明顯2D映射和跨幀的相對比例。 一個簡單的針孔照相機(jī)模型將圖像平面中的盒子的平移和縮放與相機(jī)的最終3D平移相關(guān)聯(lián)。

為了解決這個問題，我們在我們現(xiàn)有的跟蹤器中添加了比例估計，并在攝像機(jī)的視場之外追加了區(qū)域跟蹤。 當(dāng)相機(jī)靠近被跟蹤的表面時，虛擬內(nèi)容能夠精確地縮放，這與真實世界對象的感知一致。 當(dāng)你在目標(biāo)區(qū)域的視場之外平移時，虛擬物體將重新出現(xiàn)在大致相同的位置。

在這之后，我們使用手機(jī)的內(nèi)置陀螺儀來獲得設(shè)備的3D旋轉(zhuǎn)（滾動，俯仰和偏航）。 估測的3D對應(yīng)圖像與3D旋轉(zhuǎn)相結(jié)合，使我們能夠在取景器中正確渲染虛擬內(nèi)容。 而且由于我們分別處置旋轉(zhuǎn)和平移，所以我們的即時運(yùn)動跟蹤方法不需要校準(zhǔn)，可以在任何帶有陀螺儀的Android設(shè)備上工作。