面向視頻/音頻處理的 FPGA技術詳解分析

?

從專用串行數(shù)字接口 (SDI) 的點對點連接轉到面向媒體內(nèi)容交換和協(xié)作的以太網(wǎng) IP 網(wǎng)絡，這一顛覆整個廣播媒體制作供應鏈的演進趨勢仍在繼續(xù)?，F(xiàn)在，不斷發(fā)展并日臻成熟的 IP 技術已可支持基于文件的視頻制作，其進步之快，已將實時視頻的制作、計時和同步囊括其中。

要滿足實時視頻的制作要求，仍需克服諸多挑戰(zhàn)，包括但不限于互操作性、性能、時延和連接能力。?

當前，從專有硬件轉向基于計算機的商用現(xiàn)貨 (COTS) 系統(tǒng)和設備始終保持著快速發(fā)展的態(tài)勢。IP 媒體技術涉及網(wǎng)絡、服務器、存儲和應用的各個方面。?

實時 IP 視頻制作已引入新的網(wǎng)絡設計與拓撲，以滿足通過網(wǎng)絡進行實時媒體傳輸?shù)娜蝿贞P鍵型要求。這些新的要求正在逐漸突破 COTS 硬件架構現(xiàn)有范式的限制，不斷增加的媒體處理需求也隨之而來，因此使用特定的硬件加速器非常必要。?

英特爾作為奧運會和殘奧會的官方處理器合作伙伴，與奧林匹克廣播服務公司 (OBS) 開展合作，利用可跨多個芯片平臺的多種技術和完整的軟件堆棧，共同定義了一個參考架構，解決上述全新挑戰(zhàn)，為實時視頻制作工作流程提供支持。

我們將展示2022年北京冬奧會期間首次試用這一全新架構的相關情況，并提供產(chǎn)品路線圖，以便隨著時間的推移，在未來更多活動中擴大這項新技術的使用范圍和功能。?

“英特爾與奧林匹克廣播服務公司持續(xù)開展合作，共同定義了暫用名為‘虛擬化外場轉播車(vOB)’的軟件定義外場轉播車參考架構?！?

雙方合作的目標是借助使用 COTS 硬件的通用基礎平臺，構建基于軟件的完全虛擬化架構，同時保留為慣用傳統(tǒng)廣播設備的廣播工程師和運營商所熟悉的用戶體驗。?

根據(jù)相關標準打造的平臺支持在同一物理平臺上部署來自一家或多家供應商的多個軟件應用。這種方法有助于實現(xiàn)物理硬件資源的輕松擴展，以匹配各種賽事轉播的復雜性和計算要求。?

該參考架構在2022年冬奧會冰壺比賽中進行了試點，全面反映了可供國際廣播商使用的標準廣播制作流程。?

如果您正在參與下一代媒體處理基礎設施的架構搭建、設計或選擇，請繼續(xù)閱讀，進一步了解如何利用英特爾 FPGA 實現(xiàn)視頻和音頻處理應用，以便在進行復雜的實時視頻制作時能夠滿足嚴苛的實時要求。

挑戰(zhàn)

采用 SDI 基帶路由器、同軸電纜和 BNC 連接器的傳統(tǒng)廣播基礎設施目前正在向使用 IP 網(wǎng)絡交換機和軟件定義網(wǎng)絡 (SDN) 控制器的以太網(wǎng)過渡。隨著以太網(wǎng)交換機支持的傳輸速度不斷升級，匯聚型無阻塞交換機和網(wǎng)絡吞吐量的性能也在不斷提升，為利用IP/以太網(wǎng)經(jīng)濟高效地傳輸關鍵性廣播應用奠定了堅實的基礎。這種方法不僅仍能提供與傳統(tǒng) SDI 操作相同的穩(wěn)健性和穩(wěn)定性，還具備更加出色的敏捷性、靈活性和可擴展性，可滿足不斷發(fā)展的媒體格式要求。

為應對這一挑戰(zhàn)，多家企業(yè)和機構通過合并媒體、互聯(lián)網(wǎng)和 IT 領域的一系列標準、規(guī)范、協(xié)議和推薦方案，共同建立了行業(yè)合作伙伴關系，并由此審批并通過了多項有關實時視頻制作的新標準。SMPTE ST-2110 Professional Media Over Managed IP Networks Suite of Standards（美國電影電視工程師協(xié)會 ST2110 經(jīng)托管 IP 網(wǎng)絡傳輸?shù)膶I(yè)媒體的相關標準）和 AMWA NMOS（高級媒體工作流程協(xié)會的網(wǎng)絡媒體開放規(guī)范）是其中兩個主要標準。?

就使用 ST2110 規(guī)范的用例而言，所有媒體要素（視頻、音頻、數(shù)據(jù)、控制和同步）都需在網(wǎng)絡中以數(shù)據(jù)包的形式進行傳輸。?

雖然這在結構上似乎與常規(guī)的以太網(wǎng)網(wǎng)絡十分相似，但要成功地實現(xiàn) ST2110 工作部署，需要注意一些特殊要求，例如流量整形和無中斷故障切換 (hitless protection switching)。?

就流程而言，管理、處理和轉換多個同步的高分辨率視頻和高質量音頻流通常是實時視頻制作流程的關鍵環(huán)節(jié)。完成此類任務需要有高性能平臺提供足夠的算力和帶寬，這樣才能夠以盡可能低的時延生成視頻結果。?

為完成上文提及的任務，可在通用 COTS 服務器中添加靈活的媒體加速器，以此提高處理能力，同時降低功耗。英特爾 FPGA可以提供強大的并行處理能力和高內(nèi)存帶寬，是實現(xiàn)此類媒體加速器的理想選擇。在 COTS 服務器中添加靈活的媒體硬件加速器可避免對軟件負載條件的依賴，從而降低確定性時延。這種方法還能夠節(jié)省可用于用戶應用的寶貴計算資源。

由于 FPGA 能夠在數(shù)毫秒內(nèi)實現(xiàn)現(xiàn)場重新編程，因此可根據(jù)具體用例定制和部署不同的音頻/視頻處理流水線，使 FPGA 成為在通用計算服務器中添加靈活的媒體加速器的理想解決方案。

解決方案

FPGA 中的 ST2110 實現(xiàn)

●?SDI-IP 網(wǎng)關

雖然現(xiàn)階段已能夠使用基于“全 IP”的基礎設施，但大多數(shù)系統(tǒng)仍需支持各種基于 SDI 的傳統(tǒng)設備，而將這些設備轉換為適應網(wǎng)絡環(huán)境的運行模式絕非易事。面臨的挑戰(zhàn)在于找到真正高效的方法，彌合兩種運行環(huán)境間的差距，同時保留二者的長處和優(yōu)勢。?

對于 SDI 或 IP 混合演播室制作系統(tǒng)而言，SDI-IP 網(wǎng)關在不同 SDI 和 IP 矩陣間的音頻、視頻和輔助數(shù)據(jù)傳輸中發(fā)揮著至關重要的作用。它們可將一路或多路要素流聚合至 10 GbE、25 GbE 甚至更高帶寬的網(wǎng)段中，如 50 GbE 和 100 GbE。SDI-IP 網(wǎng)關還支持信號緩沖，從而確保妥善實現(xiàn)時間同步，并在不同的 IP 流間順暢傳輸。此外，這些網(wǎng)關也許還包括可節(jié)省網(wǎng)絡帶寬的夾層或幀內(nèi)編解碼器。?

圖 1. 多通道 SDI-ST2110 網(wǎng)關在單個 FPGA 上的實現(xiàn)。

SDI-IP 網(wǎng)關具備連接分布式演播室或分布式設施所需的必要功能，以及跨越不同精確時間協(xié)議 (PTP) 的能力。對 SDI 或單獨的音頻流、視頻流和輔助數(shù)據(jù)進行 IP 分組基于的是 SMPTE ST 2110 標準。?

圖 1 所示為 SDI-IP 網(wǎng)關系統(tǒng)的概念示意圖。

●?ST2110 網(wǎng)卡 (NIC)

隨著我們轉向全 IP 部署，有關支持實時媒體傳輸?shù)男乱笠搽S之出現(xiàn)。我們需要具有視頻感知架構的 COTS ST2110 網(wǎng)卡，該種網(wǎng)卡要能提供廣播設備所需的 24/7 可靠性和互操作性，同時仍具備 IP 基礎設施應有的靈活性和可擴展性，包括標準的網(wǎng)絡堆棧功能。

這些特定的網(wǎng)絡適配器具備完全卸載 ST2110 協(xié)議下相關操作的能力，因此使原始設備制造商 (OEM) 的軟件解決方案能夠提供可靠且可擴展的基于 COTS 系統(tǒng)的 10 GbE、25 GbE 和 100 GbE IP 解決方案。此類網(wǎng)卡實際上卸載了 ST2110 媒體傳輸所需的全部數(shù)據(jù)包處理操作，包括音頻、視頻和輔助數(shù)據(jù)，以及內(nèi)置于網(wǎng)卡的數(shù)據(jù)冗余和數(shù)據(jù)包步調控制 (packet pacing) 功能，從而 釋放系統(tǒng)資源。軟件解決方案能夠在任何條件下提供有保證的窄位寬數(shù)據(jù)傳輸，且不受 CPU 負載與操作系統(tǒng) (OS) 交互的影響。?

圖 2 所示為基于 FPGA 的 ST2110 網(wǎng)卡簡化示意圖。不同的選擇方案處理能力也不同，最高可支持 8 路 4k60 或 32 路 1080p60 媒體流的輸入和輸出，以及 100 Gbps 鏈路，且 CPU 使用率幾乎為零。?

由于這些 ST2110 網(wǎng)卡通常部署在支持虛擬化流程（在這些流程中，終端應用將會運行在虛擬機和/或容器內(nèi)）的服務器中，因此必須支持單根 I/O 虛擬化 (SR-IOV) 的虛擬功能 (VF)。由于可以選擇在硬核芯片中，而非軟核邏輯結構中實現(xiàn)連接到 SR-IOV VF 的直接內(nèi)存訪問 (DMA) 通道，因此可為終端應用在邏輯和功耗方面帶來多種好處。

圖 2. 基于 FPGA 的網(wǎng)卡（可從主機服務器 CPU 完全卸載 ST 2110 協(xié)議下的相關操作）。

面向視頻/音頻處理的 FPGA

●?視頻混合器、重放、多視圖查看器、縮放器、HDR 處理等

在為廣播設施構建解決方案或為直播活動整合各種音頻/視頻產(chǎn)品時，系統(tǒng)集成商常常需要在不同的協(xié)議之間“搭建橋梁”，或在設備之間進行視頻格式轉換。英特爾具有豐富的知識產(chǎn)權(IP)、參考設計和硬件，可加快解決方案的上市速度。英特爾還能夠提供專用標準產(chǎn)品 (ASSP) 或圖形處理單元 (GPU) 無法實現(xiàn)的性能、差異化功能和集成功能。?

上/下/交叉轉換器具有視頻處理和縮放功能，可在不同的色彩空間、根據(jù)不同的長寬比要求，在標清 (SD)、高清 (HD) 和 4K 之間實現(xiàn)格式轉換。這些轉換器適配 SDI、高清多媒體接口 (HDMI)、DisplayPort 和 IP 等不同的連接接口標準。一般來說，視頻處理卡內(nèi)包含多種算法。而且這些視頻處理卡可將多通道視頻處理流水線與連接接口集成在一起，并可在制作環(huán)境中提供基于 PCIe 的流式 DMA 訪問主機處理。

圖 3. FPGA 支持全面的連接技術與視頻處理流水線的集成。

●?多通道音頻處理

英特爾?FPGA 具備出色的數(shù)字信號處理 (DSP) 性能，可滿足音頻處理、接口連接、壓縮、嵌入和轉換等多種需求。FPGA 架構固有的并行特征可同時處理多個音頻，實現(xiàn)資源的高效利用。英特爾?FPGA 具有出色的性能，這意味著其所支持的音頻處理能力將遠遠超過大多數(shù)應用的需求。

英特爾所提供的架構有著經(jīng)濟高效、靈活多變的特性，是 ASSP 和 DSP 的理想替代方案；此外，英特爾還與合作伙伴生態(tài)系統(tǒng)攜手，提供音頻和語音編解碼器、回音消除器等工具。在英特爾平臺的助力下，工程師們能夠迅速將音頻功能集成到各自的產(chǎn)品中，實現(xiàn)產(chǎn)品差異化、增加通道密度并加快產(chǎn)品的上市速度。設計師能夠充分利用英特爾?FPGA 的 DSP 性能、帶寬和其他功能特性來實現(xiàn)片上系統(tǒng)設計，消除單獨使用組件來執(zhí)行語音處理任務的需求，進而減少成本，特別是多通道音頻應用的成本。

?

值得注意的一點是，F(xiàn)PGA 能夠將連接和處理功能整合在一起。因此，整合媒體傳輸連接技術（例如 ST2110）可為特定的音頻和視頻應用帶來助益，便于高效構建小巧而可靠的解決方案。

圖 4 所示為能夠集成多個 I/O 接口功能的音頻處理卡，支持在單個設備中實現(xiàn)端到端的音頻解決方案。

圖 4. FPGA 支持全面的連接技術與音頻處理流水線的集成。

●?面向實時視頻制作的低時延夾層壓縮技術

采集分辨率和視頻質量在不斷提升。此外，經(jīng)生成、收集和傳輸而來的大量原始數(shù)據(jù)也越來越難管理。? ? 隨著市場對更高分辨率、更高幀率和更智能的分發(fā)系統(tǒng)的需求不斷增長，傳輸經(jīng)過壓縮的視頻正逐漸成為主流方案。? ? 如此一來，就更加需要標準化的壓縮解決方案，助力設計人員以低時延和低實現(xiàn)復雜性，管理更高像素、節(jié)省更多成本與電能、簡化連接，同時保證畫質和音質。? ? FPGA 架構非常適合夾層編解碼器的實現(xiàn)（JPEG-XS、VC-2、 SpeedHQ 等），能夠利用并行處理和自有內(nèi)存，在無需外部幀緩沖的前提下，構建低時延、小巧緊湊的解決方案，可謂應對上述挑戰(zhàn)的理想選擇。

面向攝像應用的 FPGA

隨著成像技術在分辨率和幀率方面不斷提升，已超過高清和每秒60 幀 (60 fps) 標準并要求獲得更高的動態(tài)范圍支持，因此必須在空間受限的攝像機和攝錄機設計中進行實時圖像和視頻處理。此外還需要諸如視頻分析、元數(shù)據(jù)采集等新增功能的加入，以使工作流程更高效并實現(xiàn)內(nèi)容創(chuàng)收。傳統(tǒng)的解決方案通常會涉及ASIC、處理器和 FPGA，這會使系統(tǒng)更為復雜，同時增加功耗并產(chǎn)生更多熱量。?

英特爾 FPGA 將可接入 4K 和 8K 傳感器的高速連接與高度靈活的圖像和視頻處理流水線集成在一起，并可在需要時添加無損或有損壓縮編碼功能（通常是無損壓縮編碼用于演播室環(huán)境，有損壓縮編碼用于電子新聞采訪攝像機的無線傳輸，以及 SD 卡或SATA 硬盤的本地存儲），同時還支持多種輸出連接標準?，F(xiàn)在，只需一臺設備即可支持上述所有功能，大大節(jié)省了空間、降低了成本與功耗。

圖 5. 功能全面的高端攝像機可在單個 FPGA 中高效實現(xiàn)。

配備 4K，甚至是 8K 圖像傳感器的演播室攝像機能夠通過高帶寬電纜（12G-SDI、25/100 GbE 電纜或光纖），為演播室廣播節(jié)目和運動賽事采集和放送高清、高幀率 (HFR)、高動態(tài)范圍 (HDR) 和廣色域 (WCG) 視頻。圖 5 所示為典型的演播室攝像系統(tǒng)云臺。

解決方案組成部分與路線圖

英特爾 Agilex 7 FPGA 和英特爾 Agilex 5 FPGA 賦能 8K 視頻數(shù)據(jù)路徑

幾十年來，視頻分辨率不斷提高，從標清 (720x486) 到高清(1920x1080)，再到超高清 (UHD) 4K (3840x2160) 和 8K(7680x4320)，甚至更高。應對這種帶寬不斷增加的情況所需的時鐘頻率也相應提高。標清視頻的分辨率只要求像素時鐘頻率達到 27 MHz，這在今天很容易實現(xiàn)，但在上世紀 90 年代初剛推出時卻很難實現(xiàn)。高清視頻的分辨率要求時鐘頻率達到 74.25MHz 或 148.5 MHz，這在當時雖可實現(xiàn)但也充滿了挑戰(zhàn)。如今，4K 視頻的分辨率要求像素時鐘頻率達到 594 MHz，這已能在英特爾新推出的 FPGA 家族產(chǎn)品中實現(xiàn)，而 8K 視頻則需要高達2,376 MHz 的像素時鐘頻率，這么高的時鐘頻率迫使視頻工程師不得不尋找新的設計路徑。?

為達到這種高像素時鐘頻率，需對視頻 IP 核（如縮放器或色彩空間轉換器）進行重新設計，以便能在每個時鐘周期內(nèi)處理更多像素。在大多數(shù)情況下，這意味著需要在 IP 核內(nèi)復制整個視頻流水線。從單像素并行 (pixel-in-parallel, PIP) 處理到支持 4K視頻的雙像素并行處理，所需使用的 FPGA 資源也將翻倍。早前采用 8K 視頻設計的現(xiàn)有用例往往依靠類似 8 像素并行處理的技術，導致 FPGA 資源使用量明顯增加。?

英特爾 Agilex 7 FPGA 和英特爾 Agilex 5 FPGA 是基于10 納米 SuperFin 以及英特爾 7 制程工藝打造的英特爾 FPGA全新家族，相比之前的產(chǎn)品家族，可在更高的頻率下運行，助力FPGA 開發(fā)人員大幅降低特定邏輯功能的資源占用率和功耗。它們的時鐘頻率可達到 600 MHz，并且往往無需對現(xiàn)有的寄存器傳輸級 (RTL) 代碼進行大量重寫。這對視頻設計尤其有益，因為這可使幀率為 60 fps 的 4K 視頻得到單像素并行處理。

圖 6. 英特爾 Agilex 7 FPGA 和英特爾 Agilex 5 FPGA 的高性能邏輯結構支持以高時鐘頻率執(zhí)行視頻處理，可優(yōu)化占用面積，從而節(jié)約資源與降低功耗。

圖 7. 借助 VVP 庫，您可在英特爾 FPGA 上輕松創(chuàng)建復雜的視頻處理流水線。

作為視頻處理構件的 VVP

視頻與視覺處理 (VVP) 庫集合了 20 多項 IP 功能，并可支持所有英特爾 FPGA 產(chǎn)品。它所提供的設計理念適用于快速創(chuàng)建全新設計，可輕松集成自定義增值功能以及包括 HDMI、DisplayPort、12G-SDI、SMPTE 2110 和 MIPI 在內(nèi)的視頻連接 IP 核。?

該庫支持多種分辨率、幀率 (fps)、位色 (bpc)（1080p/4K/8K、適用 HDR、120+ fps、16 bpc），可提供遠超大多數(shù) ASSP 的視覺質量。

使用英特爾 OFS 與英特爾 FPGA SmartNIC N6000- PL 平臺加速虛擬化 FPGA 開發(fā)

英特爾 開放式 FPGA 堆棧（Intel Open FPGA Stack，英特爾OFS）是一種可擴展、可訪問源代碼的軟硬件基礎設施，通過Git 庫交付，支持自定義符合自身特殊要求的加速平臺解決方案。這款第二代軟硬件基礎設施可適配英特爾 Stratix 10 FPGA、英特爾 Agilex 7 FPGA 和英特爾 Agilex ５ FPGA 和未來的英特爾 FPGA 家族產(chǎn)品。該基礎設施僅限英特爾和精選第三方平臺使用，旨在解決與設計基于 FPGA 的加速平臺解決方案相關的挑戰(zhàn)。?

英特爾 OFS 為開發(fā)自定義 FPGA 平臺提供了一條高效路徑，因其能夠：

提供 FPGA 可合成代碼、仿真環(huán)境及合成或仿真腳本。

使用符合行業(yè)標準的 Arm AMBA 4 AXI 接口、工作負載示例和 AFU 仿真功能，加速工作負載開發(fā)。

利用已提交上傳至 Linux 內(nèi)核的軟件驅動程序以及 OPAE 軟件和庫。

英特爾 FPGA SmartNIC N6000-PL 平臺 [此前代號為 ArrowCreek 的加速開發(fā)平臺 (ADP)] 采用雙 PCIe 卡設計，配備英特爾Agilex 7 FPGA 和英特爾 Agilex 5 FPGA，曾被原始設計制造商 (ODM) 合作伙伴和/或客戶用作針對不同市場打造的量產(chǎn)卡的基礎。不同設計之間的關鍵差異在于其中一款包含集成式雙端口 100 GbE 英特爾 以太網(wǎng)控制器 E810。

圖 8. 英特爾 OFS 提供一整套軟硬件資源，加速虛擬化 FPGA 視頻處理應用的開發(fā)。

圖 9. 英特爾 FPGA SmartNIC N6000-PL 平臺是一款即插即用的 PCIe 卡，搭載英特爾 Agilex 7 FPGA 和英特爾 Agilex5 FPGA，由英特爾 OFS 提供全面支持。

英特爾 FPGA SmartNIC N6000-PL 平臺提供了一個參考硬件平臺，使客戶在產(chǎn)品進入完全量產(chǎn)前，能夠在實際硬件中開發(fā)、調整和優(yōu)化特定的工作負載。這些客戶通常處于以下情形：他們希望制造具備量產(chǎn)質量的卡，但在確定最終設計之前首先想優(yōu)化其 IP。

圖 10. 英特爾 FPGA SmartNIC N6000-PL 平臺板卡實物圖。

英特爾 FPGA SmartNIC N6000-PL 平臺是開發(fā)平臺家族中首款覆蓋多個細分市場和多種解決方案的產(chǎn)品。?

英特爾 FPGA SmartNIC N6000-PL 平臺包含多種基于英特爾OFS 的 FIM 設計，適配英特爾 Agilex 7 FPGA 與英特爾Agilex 5 FPGA，可支持多種內(nèi)存、以太網(wǎng)和 PCIe 系統(tǒng)配置。我們推出英特爾 OFS 的主要目的是通過提供可訪問源代碼的硬件、開源的軟件和仿真基礎設施，讓您能夠根據(jù)自身平臺應用的需求輕松進行自定義設置，進而加快產(chǎn)品上市。

圖 11. 英特爾 OFS 所含不同子模塊的詳細示意圖。

總結

英特爾 FPGA 可提供出色的架構、計算能力和能效，滿足實時視頻制作工作流程的多種要求。英特爾 FPGA 不僅能夠使用不同的連接技術和視頻/音頻處理構件來實現(xiàn)功能全面的視頻處理流水線，還能通過動態(tài)地重新配置更優(yōu)的數(shù)據(jù)路徑，為低時延實現(xiàn)方案提供支持。英特爾可提供諸多適配組件，從芯片（英特爾Agilex 7 FPGA 和英特爾 Agilex 5 FPGA）到 IP（VVP 和連接技術），再到支持 COTS/虛擬化流程的完整平臺（英特爾?FPGA SmartNIC N6000-PL 平臺和英特爾 OFS），不一而足，滿足用戶各種需要。

編輯：黃飛

?