視頻處理系統(tǒng)精細化演進，成本與體驗之間如何找尋平衡點？

在成本方面，火山引擎分別針對影響帶寬成本、計算成本和存儲成本的因素進行優(yōu)化。例如，調(diào)整視頻的碼率可以降低帶寬成本。同時，還可以減少不必要的數(shù)據(jù)傳輸，避免浪費帶寬，優(yōu)化緩存機制，減少不必要的數(shù)據(jù)緩存。對于計算成本，利用異構(gòu)資源和工程優(yōu)化來降低計算成本。在存儲方面，采取轉(zhuǎn)冷存儲或刪除低觀看率的檔位等措施來節(jié)省存儲成本。

在提升體驗方面，視頻處理系統(tǒng)最主要的是對畫質(zhì)進行處理。而在播放端，包括首幀優(yōu)化、移動端后處理等都可以改善播放體驗。此外，還可以優(yōu)化卡頓問題和同步性，以提升整體體驗。

盡管單獨優(yōu)化某一方面可以采取很多措施，但成本和體驗存在置換關(guān)系。例如，下發(fā)低檔位的視頻或調(diào)整轉(zhuǎn)碼參數(shù)可以降低成本，但會導(dǎo)致體驗略有損失。預(yù)加載可以優(yōu)化首幀和提升體驗，但也會增加數(shù)據(jù)浪費和帶寬成本。因此，在決策時，需要精細評估找到成本和體驗的平衡點。通過 A/B 實驗評估體驗影響，最終，通過 ROI 評估判斷是否將優(yōu)化項應(yīng)用或進一步優(yōu)化。

視頻處理系統(tǒng)精細化演進之路

由于視頻業(yè)務(wù)規(guī)模逐漸龐大，哪怕是很小的優(yōu)化，放在大規(guī)模的系統(tǒng)里收益都非?？捎^。因此，視頻處理系統(tǒng)向數(shù)據(jù)驅(qū)動的精細化演進的方向發(fā)展很有必要。視頻處理系統(tǒng)的精細化演進可拆解為畫質(zhì)精細化、資源精細化、策略精細化三個方面。

畫質(zhì)精細化即為每個視頻定制處理流程，解決如何處理視頻的問題。它是針對云端視頻處理流程的一部分，從視頻分析到視頻前處理再到視頻編碼的過程。視頻分析使用檢測算法提取高維特征，為下一步處理決策提供依據(jù)。視頻前處理采用增強算法對原片進行處理，然后使用編碼器和內(nèi)容自適應(yīng)算法進行視頻編碼。

盡管云端處理是重要的，但張清源認為，未來視頻處理系統(tǒng)將是端到端的統(tǒng)一系統(tǒng)。隨著移動端計算性能的提升，一些算法可以在移動端進行補充，既可以節(jié)省云端計算資源，又可以結(jié)合用戶算法策略。因此，需要建立云端和移動端之間的策略來連接它們。通過建設(shè)離線畫質(zhì)分析平臺，即端到端實驗仿真平臺，實現(xiàn)端云算法結(jié)合，結(jié)合全鏈路仿真，獲得最佳算法策略，實現(xiàn)線上收益最大化。

資源精細化，即在處理視頻和資源規(guī)劃中選擇最合適和最優(yōu)的資源配置，解決使用什么資源的問題。過去，視頻處理系統(tǒng)幾乎 100% 使用 CPU 資源，但隨著時間的推移，除了 CPU 資源外，還可以選擇具有彈性的 GPU 資源及其他異構(gòu)資源進行使用。

在評估這些資源時，火山引擎會首先考慮業(yè)務(wù)特點，因為不同的業(yè)務(wù)對于壓縮性能和任務(wù)延遲的要求可能不同。其次，需考慮峰谷時段選擇合適的資源。高峰期可借用離線彈性資源以降低成本。第三，需要結(jié)合資源的特性，比如 CPU 最大的優(yōu)點是穩(wěn)定，通用性好，但是對于算力要求比較高，可能 GPU 更合適。此外，需要考慮預(yù)算、交付周期、線上實驗、突發(fā)流量和容災(zāi)需求。資源分布在點播和實時業(yè)務(wù)中也需考慮。確定最優(yōu)資源和配比，考慮當前和未來業(yè)務(wù)情況，進行分析和決策。

策略精細化，即結(jié)合業(yè)務(wù)場景的特點，尋找最佳的資源使用方式，用最少的資源實現(xiàn)最佳用戶體驗。

現(xiàn)有的策略能力有熱度轉(zhuǎn)碼和冷啟動。熱度轉(zhuǎn)碼是根據(jù)視頻熱度階段選擇轉(zhuǎn)碼檔位，而冷啟動則通過預(yù)測模型預(yù)測視頻的整體價值。此外，削峰填谷也是策略精細化的常見方式之一，其是基于視頻價值函數(shù)曲線，考慮帶寬收益、轉(zhuǎn)碼成本、播放成本和業(yè)務(wù)價值等因素，當視頻價值大于零時選擇轉(zhuǎn)碼高壓縮率檔位，以實現(xiàn)更精確地控制。最后是轉(zhuǎn)存聯(lián)動，指在轉(zhuǎn)碼和存儲之間進行置換，特別是針對相對冷門的視頻。對于這些視頻，可以刪除其中的一些檔位以節(jié)省存儲成本，但在需要時可以再次轉(zhuǎn)碼并恢復(fù)這些檔位，從而在計算和存儲成本之間實現(xiàn)節(jié)約，降低整體點播成本。

以上三種視頻處理系統(tǒng)精細化演進的策略，在火山引擎的很多業(yè)務(wù)上都有應(yīng)用，并且取得了非常大的成本和收益。但是，火山引擎希望這些能力不只是定制化的能力，而是能夠朝著更加通用化和產(chǎn)品化的方向發(fā)展，這對成本優(yōu)化非常重要，但也是一個具有挑戰(zhàn)性的任務(wù)。

軟硬一體的視頻處理體系架構(gòu)

成本體驗的極致優(yōu)化和業(yè)務(wù)的規(guī)模效應(yīng)，促使視頻處理系統(tǒng)向數(shù)據(jù)驅(qū)動的精細化方向演進。在視頻處理系統(tǒng)精細化演進的趨勢下，視頻云解決方案應(yīng)運而生。視頻云解決方案通過整合大數(shù)據(jù)分析、人工智能、算法優(yōu)化等技術(shù)，將數(shù)據(jù)驅(qū)動、策略優(yōu)化和資源管理等能力融入視頻處理和傳輸服務(wù)。

在眾多的視頻云解決方案中，英特爾視頻云解決方案以其先進的硬件技術(shù)和開放式的架構(gòu)脫穎而出。它利用英特爾強大的處理能力和豐富的視頻處理經(jīng)驗，提供高效、可靠、高質(zhì)量的視頻處理能力，在資源精細化管理和策略優(yōu)化方面具有獨特優(yōu)勢。

首先，通過 CPU 平臺，它提供了高質(zhì)量，編碼靈活、通用性強且穩(wěn)定可靠的視頻處理方案。其次在密度成本方面，通過一機多卡高密度 GPU 編解碼，實現(xiàn)了更高的計算密度和成本效益。在大部分情況下，視頻處理平臺也采用了異構(gòu)平臺的方式，即在云計算或視頻處理集群中同時使用 CPU 和 GPU 等加速卡。這種異構(gòu)平臺的優(yōu)勢在于可以靈活配置計算資源，根據(jù)具體應(yīng)用需求分配不同的計算算力和計算單元。對于質(zhì)量、編程靈活性、通用性要求較高的應(yīng)用，使用以 CPU 為主的集群進行處理。而對于游戲等需要渲染和密集計算的應(yīng)用，通過 GPU 加速方案實現(xiàn)高效處理。在異構(gòu)平臺中，關(guān)鍵是如何管理和調(diào)配 CPU 和 GPU 的計算能力，以實現(xiàn)最佳的時延和吞吐性能。

英特爾的軟硬件解決方案在視頻領(lǐng)域應(yīng)用廣泛，主要集中在視頻編解碼、視頻分析、游戲、遠程桌面（VDI）、內(nèi)容分發(fā)網(wǎng)絡(luò)（CDN）、沉浸式 AR/VR/XR 六大領(lǐng)域。旨在幫助用戶在視頻領(lǐng)域的不同應(yīng)用場景中獲得最佳性能。

在視頻編解碼平臺，基于英特爾的 CPU 和 GPU 平臺可以搭建一個高效能的異構(gòu)計算平臺。在軟件方面，包括提供了軟件編碼、硬件編碼、軟件開發(fā)工具庫、性能監(jiān)控工具等。英特爾的一些軟件和工具已經(jīng)開源，可通過相應(yīng)的鏈接進行下載。

在視頻分析領(lǐng)域，英特爾提供了基于其底層硬件，如 CPU、GPU 和 FPJA（例如 Habana）的解決方案。這些硬件可以與各種與人工智能相關(guān)的框架和平臺集成，例如英特爾 發(fā)行版 OpenVINO 工具套件，它集成了最新的 AMX 指令集，以實現(xiàn)最佳的 AI 推理性能。此外，英特爾還提供了經(jīng)過優(yōu)化的 TensorFlow 和 PyTorch 版本以及自己的模型庫（ModelZoo），并將優(yōu)化后的 AI 模型開源，以便用戶集成、測試和應(yīng)用。

在游戲領(lǐng)域，英特爾提供了基于安卓和 Windows 的云游戲解決方案，并提供了 GPA 工具，用于監(jiān)控游戲和 GPU 的性能，并實現(xiàn)最佳的性能調(diào)優(yōu)。

對于 VDI、CDN 等領(lǐng)域，英特爾也提供了相應(yīng)的軟硬件配置、庫、SDK 和 Library 等工具，用戶可以方便地下載和使用。

所有這些解決方案都基于以英特爾 至強為主的 CPU 平臺、以 Xe 為主英特爾 dGPU 平臺和 oneAPI 軟硬件，并已經(jīng)得到廣泛應(yīng)用和成熟驗證。

隨著每一代至強處理器架構(gòu)的升級，視頻處理性能持續(xù)提升。從 Catholic 8260 到之前的 istake，再到現(xiàn)在的第四代英特爾 至強 可擴展處理器（Sapphire Rapids），視頻編解碼和轉(zhuǎn)碼的處理能力呈線性增長。在第四代英特爾 至強 可擴展處理器問世之前，所有的 8K 實時編解碼賽事都需要使用四個至強處理器。而今年隨著第四代至強的推出，已經(jīng)能夠在兩個至強處理器或兩個 Sapphire Rapids 處理器上實現(xiàn) 8K 的實時轉(zhuǎn)碼，性能更優(yōu)，性價比更高。

在基于第四代英特爾 至強 可擴展處理器和 GPU 的異構(gòu)視頻處理平臺中，CPU 負責處理視頻業(yè)務(wù)的接收和分發(fā)，作為整體調(diào)度中心。CPU 編解碼產(chǎn)生的視頻質(zhì)量可靠且高。GPU 主要處理速度敏感型的在線業(yè)務(wù)，包括直播、游戲和渲染加速。使用小型且高密度的 GPU 部署，可進一步降低總體成本。根據(jù)需求進行擴展和優(yōu)化，提供更好的性價比和吞吐量。這種異構(gòu)平臺已經(jīng)在許多應(yīng)用領(lǐng)域得到了廣泛應(yīng)用，例如直播編解碼、賽事轉(zhuǎn)播、游戲 VDI 超分和視頻分析等。它為客戶帶來了更高的性能和性價比，滿足了不同領(lǐng)域的視頻處理需求。

在異構(gòu)平臺中，如何協(xié)同調(diào)配 CPU、GPU 和其他加速卡之間的任務(wù)是非常重要的。為了解決這個問題，英特爾推出了名為 Deeplink 的技術(shù)。Deeplink 技術(shù)提供了 Dynamic Power Share（動態(tài)功耗共享）、Stream Assist（流式訪問）等協(xié)同處理和加速的方法，以提高異構(gòu)平臺的整體性能和效率。 通過 Deeplink 技術(shù)，英特爾可以在 Flex140 這款 GPU 卡上穩(wěn)定實現(xiàn) 8K 的實時 GPU 編解碼。

基于至強 CPU 和 GPU，英特爾構(gòu)建了可擴展的視頻處理器平臺。該平臺涵蓋底層硬件和軟件基礎(chǔ)架構(gòu)，包括操作系統(tǒng)、硬件加速器、Docker、API、數(shù)據(jù)庫和 SDK 等。雖然英特爾被認為是一家以硬件為主的公司，但也擁有龐大的軟件團隊。從底層的 Firmware 到驅(qū)動、操作系統(tǒng)，再到 Kubernetes、虛擬化和容器化環(huán)境的調(diào)度和利用，軟件團隊致力于與合作伙伴合作，充分利用硬件架構(gòu)的特性，為視頻云上的各種應(yīng)用提供高效的軟件解決方案。

極致的性能，成本與體驗“魚與熊掌”兼得的密碼

談到這里，回歸最初的問題“成本與體驗到底是不是零和博弈”想必大家都有了答案。陸揚表示，成本的優(yōu)化，無外乎是性價比的問題。當性能提高到一定水平，性價比、整體成本自然就有所下降。在英特爾平臺的迭代中，不斷提升核心計算能力，包括頻率、緩存大小和內(nèi)存容量等，都是希望通過這些升級來降低整體擁有成本，提高性價比。在過去幾十年以及未來，英特爾的軟硬件架構(gòu)解決方案將繼續(xù)與合作伙伴一起致力于提高視頻云行業(yè)的服務(wù)質(zhì)量、總體性能和應(yīng)用成本。

有關(guān)未來視頻處理系統(tǒng)的趨勢和發(fā)展方向，張清源持極其樂觀的態(tài)度。他表示，整個視頻領(lǐng)域未來會朝著更高清、更沉浸、更交互的方向去演進。算力的增長還會繼續(xù)，并將推動計算資源的創(chuàng)新，從而提高計算效率和降低成本。其次，AI 算法和端到端算法聯(lián)動將成為重要的發(fā)展方向，使視頻處理從全鏈路角度考慮整體效果。此外，精細化也是一個趨勢，類似于推薦系統(tǒng)的個性化推薦，視頻處理可能會結(jié)合人群特點進行定制化處理。這些方向都有很大的潛力。

陸揚補充道，視頻的發(fā)展趨勢包括分辨率的提升和適配范圍的擴大。視頻分辨率已經(jīng)發(fā)展到 8K，然而，這種超高清分辨率對計算中心提出了巨大挑戰(zhàn)，因為處理這樣的視頻需要處理龐大的計算量。另外，AI 應(yīng)用的迅猛發(fā)展也對計算中心提出了挑戰(zhàn)。無論是 CPU、加速器還是異構(gòu)平臺，如何高效智能地運行越來越復(fù)雜的應(yīng)用和計算中心，使計算能夠無縫銜接，具備全鏈路的動態(tài)感知和自適應(yīng)能力，都是未來的重要方向?；诖耍憮P希望英特爾的最新硬件架構(gòu)平臺能夠適應(yīng)不斷變化的視頻云應(yīng)用，更好地服務(wù)大眾需求。

點擊視頻了解實戰(zhàn)課精彩內(nèi)容！

點擊閱讀原文，了解更多英特爾云及互聯(lián)網(wǎng)行業(yè)創(chuàng)新實踐。

文章轉(zhuǎn)載自：InfoQ

作者：張雅文

一般提示和法律聲明：

文章僅代表媒體觀點

文章圖片等素材的版權(quán)歸其所有者