優(yōu)化支持視頻的無人機設計

據(jù)估計，未來十年，全球將有近980億美元用于空中無人機和其他無人駕駛飛機。雖然無人機技術的商業(yè)應用預計將推動超過1270億美元的全球市場，但消費無人機正在從這些投資中獲益。為了更好地了解無人機的安全操作，讓我們深入了解實現(xiàn)安全飛行的關鍵要求：低延遲視頻傳輸。

要在用戶視線之外操作，任何無人機都需要配備具有實時傳輸功能的機載攝像頭。在為工作選擇合適的系統(tǒng)時，重要的是要記住以下因素：

低功耗：低功耗可延長飛行時間

低延遲：更低的延遲可實現(xiàn)更快的反應

無線鏈路穩(wěn)健性：堅固的連接可提高準確性和響應能力

范圍：更長的范圍延長了操作距離

自主性：額外的傳感器可實現(xiàn)更安全的飛行

在這些考慮因素中，低延遲視頻壓縮和傳輸至關重要。以下方法概述了開發(fā)人員可以減少無人機視頻壓縮和傳輸系統(tǒng)延遲的幾種方法：

視頻捕獲：更高的幀速率意味著更短的捕獲時間 （Tcap）。例如，30 fps 攝像機需要 33 毫秒才能捕獲每一幀視頻。對于 60-fps 視頻捕獲，此數(shù)字減少到 16.5 毫秒。

壓縮或編碼：壓縮技術用于降低傳輸視頻幀所需的數(shù)據(jù)速率。H.264壓縮標準是在無人機中錄制和壓縮視頻的一種非常常見的技術。壓縮通常是一項計算密集型任務。編碼所需的時間 （Tenc） 取決于所使用的編碼引擎和功能的選擇。

傳輸：無人機使用Wi-Fi連接等無線通信機制與地面站通信。由此產(chǎn)生的傳輸延遲 （Ttx） 取決于可用的數(shù)據(jù)帶寬。例如，如果 720p30 流以 1 Mbps 編碼，可用帶寬為 2 Mbps，則向地面站發(fā)送流所需的時間為 16.5 毫秒。

網(wǎng)絡：根據(jù)需要，空中系統(tǒng)可以通過網(wǎng)絡連接到遠程地面站。如果是這種情況，網(wǎng)絡內(nèi)可能會導致額外的延遲 （Tnw）。

接收：如果地面站也無線連接到網(wǎng)絡，則系統(tǒng)中涉及類似于傳輸?shù)念~外延遲（Trx）。

解壓或解碼：壓縮的視頻流需要在接收站解壓。與編碼一樣，此解碼過程也是計算密集型的，會給系統(tǒng)引入解碼延遲 （Tdec）。

顯示：就像視頻捕獲一樣，根據(jù)刷新率，會有顯示延遲（Tdisp）。

還需要注意的一點是，直接與地面站通信的無人機不需要依賴網(wǎng)絡，只會導致單個傳輸延遲（Ttx）（即Tnw = 0和Trc= 0）。

為了更好地說明逐幀操作期間從捕獲到顯示的總延遲，圖 1 詳細介紹了此過程的時間線。

圖1：視頻捕獲和顯示時間線。

總延遲的具體示例可在表 1 中找到。

表1：居中

表 1 中概述了用于控制無人機操作的高延遲方案。在這里，操作員需要 118.7 毫秒才能看到收集的視頻。如果無人機以每秒 15 米的速度行駛，當遠程操作員看到需要更改航班時，它將移動 1.8 米;在此期間，無人機可能會墜毀。

為了幫助減少這種可能性，H.264標準引入了切片的概念。切片由多個宏塊（視頻幀的二維單元）組成，這些宏塊是獨立編碼的。使用此方法可以單獨解碼每個切片，而無需引用另一個切片。但是，雖然低延遲編碼在如何排列這些切片方面提供了靈活性，但使用自然行順序是最有效的。

當幀中的切片數(shù)大于 1 時，開發(fā)人員不僅能夠減少編碼時間，還能夠減少整體延遲。在這種情況下，系統(tǒng)只需等待捕獲一幀即可開始編碼，從而自動觸發(fā)其傳輸。其影響是捕獲、編碼、傳輸、接收、解碼和顯示過程不再是串行的，而是并行的，理論上每一步的延遲都會減少 N 倍。這使得整體延遲：T = Tcap + （Tenc + Ttx + Tnw + trx + Tdec + Tdisp）/N（圖 2）。

圖2：基于切片對處理時間線的影響。

理論上，編碼和顯示過程之間的有效時間將減少N倍。但是，實際上，時間可能并不總是與切片數(shù)成線性關系，這是由設置和處理單個切片所需的開銷引起的。表 2 顯示了基于切片的編碼的延遲示例，基于每幀 30 個切片的速率。

表 2：基于切片的延遲示例。

如本例所示，即使實現(xiàn)了有效的編碼/解碼時間，延遲仍占用基于幀的編碼的一半時間（每幀一個切片）。通過使用此過程，遠程無人機飛行員的反應速度至少提高了三倍。

需要考慮的一個權衡：雖然更多的切片將加快編碼和傳輸過程，但它也會降低壓縮率。此方法增加了用于切片的位數(shù)以及有效傳輸時間。設計人員必須優(yōu)化端到端系統(tǒng);最終，將由他們相應地調整此參數(shù)。

數(shù)字媒體處理器利用集成的硬件引擎以及專為視頻的低延遲編碼和解碼而設計的幀到內(nèi)存 ISP，每幀使用多個切片。圖 3 顯示了低延遲視頻編碼 Wi-Fi 系統(tǒng)中無人機的數(shù)字媒體處理器。

圖3：TMS320DM368 數(shù)字媒體處理器采用低延遲視頻編碼 Wi-Fi 系統(tǒng)，用于無人機。

Wi-Fi 和藍牙組合連接設備配備了無人機所需的高級功能，例如天線分集、最大比率組合、雙頻支持（2.4 和 5 GHz 頻段）、速率管理和優(yōu)化的數(shù)據(jù)路徑。

如果需要對航空系統(tǒng)進行機載監(jiān)控，可以使用UART接口與無人機的中央控制單元交換控制數(shù)據(jù)，從而實現(xiàn)自主避免碰撞。

對于工程師來說，無人機是一個令人興奮的技術平臺，這些平臺受到大多數(shù)設計變量（如尺寸、重量、功耗和成本 ［SWaP-C））的限制。受控飛行 - 自萊特兄弟時代以來從未改變的挑戰(zhàn) - 需要低延遲視頻處理，無論是通過無線連接為操作員交付還是最終完全自主操作。通過對全視頻幀進行基于切片的處理并流式傳輸多個通道的壓縮視頻，設計人員將能夠為無人機飛行提供靈活、超低延遲的視頻傳輸。

審核編輯：郭婷