借助軟件，視頻穩(wěn)定功能變得越來越好、越來越智能

在過去的幾年里，基于軟件的視頻穩(wěn)定技術(shù)發(fā)展迅速——事實(shí)證明這是一件好事。因?yàn)樽畛醯呐χ饕菫榱俗?a target="_blank">智能手機(jī)視頻更適合消費(fèi)者，現(xiàn)在已經(jīng)發(fā)展為需要在所有類型的分布式工作人員之間進(jìn)行穩(wěn)定的視頻通信，部分原因是新形式因素和遠(yuǎn)程工作的興起。

您會(huì)看到，隨著 Covid-19 大流行進(jìn)入第三個(gè)年頭，企業(yè)繼續(xù)調(diào)整和利用技術(shù)解決方案來完成工作，無論是虛擬會(huì)議、遠(yuǎn)程醫(yī)療、電子商務(wù)還是其他方式。早期，對(duì)于數(shù)以百萬計(jì)的知識(shí)工作者而言，視頻通信對(duì)于持續(xù)運(yùn)營變得至關(guān)重要。首先，因?yàn)樗麄兌荚诩夜ぷ?，然后是為了在所謂的“混合”工作環(huán)境中促進(jìn)協(xié)作，因?yàn)椴⒉皇敲總€(gè)人都可以面對(duì)面地在一起，有些人必須通過視頻進(jìn)行修補(bǔ)。

但混合工作與建筑或制造業(yè)等行業(yè)不同，這些行業(yè)的工作顯然是非數(shù)字化的，大多數(shù)工人沒有筆記本電腦和網(wǎng)絡(luò)攝像頭進(jìn)行協(xié)作。盡管如此，如果您愿意的話，仍然需要在現(xiàn)場或車間進(jìn)行視頻通信，部分是為了支持社交距離，部分是為了連接即使在非大流行時(shí)期也可能彼此遠(yuǎn)程工作的分布式專家。

例如，分析師觀察到增強(qiáng)現(xiàn)實(shí) (AR) 頭戴式耳機(jī)的采用率顯著上升，以促進(jìn)聯(lián)網(wǎng)工作。去年，ABI Research 大肆宣傳 AR在工業(yè)市場的使用增長——制造業(yè)、運(yùn)輸/汽車、能源和公用事業(yè)、物流以及建筑、工程和施工 (AEC)。使用支持 AR 和視頻的移動(dòng)設(shè)備，以及不斷涌現(xiàn)的智能眼鏡和耳機(jī)，工業(yè)公司正在賦予全新的工人分類以進(jìn)行視覺協(xié)作，無論是來自工作場所的免提視頻通話，還是視覺記錄檢查，記錄過程以供培訓(xùn)或參考，或者只是在遠(yuǎn)程專家中進(jìn)行修補(bǔ)以咨詢雙方可以同時(shí)看到的情況。

但是，如果沒有視頻穩(wěn)定功能，這一切都無法正常工作。帶有視頻耳機(jī)的建筑工人或公用事業(yè)檢查員不是穩(wěn)定的三腳架。他們移動(dòng)、搖晃、咳嗽——所有這些都使他們捕捉到的視頻無法準(zhǔn)確觀看。對(duì)于需要“查看”現(xiàn)場工作人員所見內(nèi)容的遠(yuǎn)程專家來說，跳動(dòng)的視頻會(huì)讓人感到惡心。

Imint 的 Vidhance Video Stabilization Gen 4 解決方案顯著減少了不必要的移動(dòng)并提高了流暢度。（來源：Imint Image Intelligence AB）

基于軟件的視頻穩(wěn)定的演變

好消息是，我們正在進(jìn)入新一代基于軟件的視頻穩(wěn)定功能，它可以支持向我們拋出的任何移動(dòng)視頻用例。事實(shí)上，我們已經(jīng)達(dá)到了穩(wěn)定效果非常好的地步，這幾乎是不自然的。那時(shí)，我們可以開始適當(dāng)?shù)刂匦乱脒\(yùn)動(dòng)，因?yàn)樗С肿罱K用例。想象一位外科醫(yī)生帶著視頻耳機(jī)流式傳輸手術(shù)。例如，我們希望穩(wěn)定她的頭部移動(dòng)的影響，而不是患者的心跳。

軟件視頻穩(wěn)定最初是基于圖像的，使用光流方法比較視頻幀，檢測像素從一個(gè)到另一個(gè)的運(yùn)動(dòng)，并補(bǔ)償該流以產(chǎn)生更穩(wěn)定的視頻。結(jié)果很好，但需要的計(jì)算能力比早期的移動(dòng)設(shè)備所能承受的要多。

隨著智能手機(jī)開始包含陀螺儀，穩(wěn)定性演變?yōu)榛谕勇輧x，而不是基于圖像。穩(wěn)定算法不需要從相機(jī)傳感器讀取實(shí)際圖像來了解運(yùn)動(dòng)如何影響視頻。棘手的部分是將陀螺儀數(shù)據(jù)中檢測到的運(yùn)動(dòng)與相機(jī)傳感器的實(shí)際運(yùn)動(dòng)相關(guān)聯(lián)，這需要相機(jī)系統(tǒng)的理論模型來確定真實(shí)世界的條件。然后，穩(wěn)定軟件可以向相機(jī)的渲染設(shè)備發(fā)送有關(guān)如何調(diào)整和裁剪幀以穩(wěn)定視頻的信息?；谕勇輧x的穩(wěn)定性非常好且節(jié)能，非常適合用于智能手機(jī)和 AR 耳機(jī)等移動(dòng)設(shè)備。

在大多數(shù)情況下，這就是我們今天所處的位置。但是，如果我們結(jié)合這兩種穩(wěn)定模式——基于圖像和基于陀螺儀——我們可以實(shí)現(xiàn)更好的亞像素穩(wěn)定，未來的應(yīng)用可能需要并從中受益。隨著相機(jī)分辨率的提高，例如，隨著工業(yè)可視化應(yīng)用程序利用這些更高的分辨率，視頻穩(wěn)定器將為此付出努力，并最終為應(yīng)用程序的成功奠定基礎(chǔ)。

今天有基于軟件的視頻穩(wěn)定解決方案將基于圖像的穩(wěn)定覆蓋在基于陀螺儀的穩(wěn)定上，但它們是計(jì)算密集型的。提供兩者的旗艦移動(dòng)設(shè)備通常設(shè)計(jì)為以非常高分辨率（如 8K）回退到基于陀螺儀的設(shè)備。但是，當(dāng)智能手機(jī)或耳機(jī)具有更快的專用處理器時(shí)，能夠執(zhí)行最先進(jìn)的視頻穩(wěn)定功能的時(shí)代即將到來。

這成為我們繪制新的高級(jí)視頻應(yīng)用程序的畫布。隨著越來越多更好的攝像機(jī)進(jìn)入勞動(dòng)力市場以用于新的和不同的用途，視頻穩(wěn)定性將至關(guān)重要——在某種程度上。但移動(dòng)視頻的未來并沒有更加穩(wěn)定。它更好地穩(wěn)定。實(shí)現(xiàn)這一目標(biāo)的方法是通過軟件實(shí)現(xiàn)超級(jí)穩(wěn)定的視頻——視頻如此穩(wěn)定以至于看起來不自然——然后使用人工智能允許或重新引入運(yùn)動(dòng)。

換句話說，隨著視頻和 AR 設(shè)備滲透到各個(gè)行業(yè)并需要高級(jí)穩(wěn)定性，將不可避免地需要將不需要的運(yùn)動(dòng)與想要的運(yùn)動(dòng)區(qū)分開來。并非所有的相機(jī)顛簸、搖晃和掃動(dòng)都是不好的，而這種新一代技術(shù)可以感知差異。稱之為智能視頻穩(wěn)定或基于意圖的視頻穩(wěn)定，這一切都可以在不消耗電力的情況下實(shí)現(xiàn)。

這種更好的穩(wěn)定性現(xiàn)在是可能的。它在無數(shù)用例中的應(yīng)用也得到了更好的關(guān)注。

Johan Svensson 是Imint Image Intelligence AB的首席技術(shù)官，Vidhance 視頻增強(qiáng)軟件的發(fā)明者。

審核編輯 黃昊宇