為OpenHarmony打造的一款新音視頻引擎——HiStreamer

原標(biāo)題：OpenHarmony新音視頻引擎——HiStreamer

OpenAtom OpenHarmony（以下簡(jiǎn)稱“OpenHarmony”）是由開(kāi)放原子開(kāi)源基金會(huì)（OpenAtom Foundation）孵化及運(yùn)營(yíng)的開(kāi)源項(xiàng)目，目標(biāo)是面向全場(chǎng)景、全連接、全智能時(shí)代，基于開(kāi)源的方式，搭建一個(gè)智能終端設(shè)備操作系統(tǒng)的框架和平臺(tái)，促進(jìn)萬(wàn)物互聯(lián)產(chǎn)業(yè)的繁榮發(fā)展。面對(duì)萬(wàn)物互聯(lián)時(shí)代種類眾多、且差異巨大的終端設(shè)備，我們?yōu)镺penHarmony打造了一款新的音視頻引擎——HiStreamer。

一、 HiStreamer產(chǎn)生背景

數(shù)字多媒體技術(shù)在過(guò)去的數(shù)十年里得到了飛速的發(fā)展，音樂(lè)、電話、電視、電影、視頻會(huì)議等等，伴隨著我們度過(guò)每一天。為了給用戶提供豐富的多媒體處理能力，業(yè)界已經(jīng)有比較成熟的音視頻引擎，比如開(kāi)源的音視頻引擎GStreamer。為什么我們還要打造一款新的音視頻引擎呢？

隨著萬(wàn)物互聯(lián)時(shí)代的到來(lái)，越來(lái)越多的智能化設(shè)備出現(xiàn)在我們的生活中。比如：智能冰箱可以通過(guò)屏幕和聲音，告訴人們儲(chǔ)藏的菜品快要過(guò)期了；智能閘機(jī)可以通過(guò)人臉識(shí)別，自動(dòng)完成檢票工作；智能門(mén)鎖可以通過(guò)語(yǔ)音和視頻，提升開(kāi)鎖的效率和安全性......

與PC、手機(jī)等標(biāo)準(zhǔn)（Standard）設(shè)備不同，很多智能化設(shè)備的CPU處理能力比較弱、內(nèi)存也比較小，傳統(tǒng)的音視頻引擎無(wú)法支持此類設(shè)備。HiStreamer應(yīng)運(yùn)而生，既支持輕量級(jí)的Mini/Small設(shè)備，也支持Standard設(shè)備（目前支持部分功能）。HiStreamer在不斷發(fā)展和完善中，未來(lái)將會(huì)支持Standard設(shè)備的更多功能。

二、 “管道+插件”，實(shí)現(xiàn)彈性部署

為了支持Mini/Small/Standard設(shè)備，HiStreamer采用管道（Pipeline）和插件（plugin）的軟件架構(gòu)，從而可以根據(jù)設(shè)備的硬件和需求差異進(jìn)行彈性部署。HiStreamer把音視頻處理的每個(gè)過(guò)程抽象成節(jié)點(diǎn)，上一個(gè)節(jié)點(diǎn)的輸出，作為下一個(gè)節(jié)點(diǎn)的輸入，把多個(gè)節(jié)點(diǎn)連接起來(lái)，整體形成一個(gè)管道（Pipeline），完成音視頻的數(shù)據(jù)讀取、解封裝、解碼、輸出的完整流程。同時(shí)，插件可以為Pipeline的節(jié)點(diǎn)提供豐富的擴(kuò)展功能，讓HiSteamer的音視頻處理能力更強(qiáng)大。

1. Pipeline框架介紹

為了讓大家理解HiStreamer的Pipeline框架，下面以MP3音頻播放為例講解：

輸入是一個(gè)MP3文件，輸出是播放出的音樂(lè)，這中間經(jīng)過(guò)了很多步驟。

先來(lái)看一下MP3文件結(jié)構(gòu)：

圖1 MP3文件結(jié)構(gòu)

MP3文件由ID3 Metadata容器頭和若干MP3 Frame（MP3數(shù)據(jù)幀）構(gòu)成。每個(gè)MP3 Frame又由MP3 Header（MP3頭信息）和MP3 Data構(gòu)成。這一系列的MP3 Frame稱為ES Data（ Element Stream Data）。

● ID3 Metadata：容器頭，主要包括標(biāo)題、藝術(shù)家、專輯、音軌數(shù)量等。

● MP3 Header：包含MP3 Sync word（標(biāo)識(shí)MP3數(shù)據(jù)幀起始位置）和MPEG版本信息等。

● MP3 Data：包含壓縮的音頻信息。

播放MP3文件，首先需要把MP3文件數(shù)據(jù)讀進(jìn)來(lái)，然后去掉ID3 Metadata容器頭（即解封裝），再把一系列MP3 Frame解壓縮成PCM（Pulse-Code Modulation）數(shù)據(jù)，最后驅(qū)動(dòng)喇叭發(fā)聲。這個(gè)過(guò)程按順序可以抽象成如下四個(gè)節(jié)點(diǎn)：

圖2 MP3音頻播放的Pipeline

1. 輸入節(jié)點(diǎn)（MediaSourceFilter）: 讀取MP3原始數(shù)據(jù)，傳給下一個(gè)節(jié)點(diǎn)。

2. 解封裝節(jié)點(diǎn)（DemuxerFilter）: 解析ID3 Metadata容器頭信息，作為后續(xù)節(jié)點(diǎn)的參數(shù)輸入，并且把一幀幀MP3 Frame（即ES Data）傳給后續(xù)的解碼節(jié)點(diǎn)。

3. 解碼節(jié)點(diǎn)（AudioDecoderFilter）: 把ES Data解碼成PCM數(shù)據(jù)，傳給輸出節(jié)點(diǎn)。

4. 輸出節(jié)點(diǎn)（AudioSinkFilter）: 輸出PCM數(shù)據(jù)，驅(qū)動(dòng)喇叭發(fā)聲。

由以上示例可知，HiStreamer通過(guò)Pipeline框架把音視頻處理的每個(gè)過(guò)程抽象成一個(gè)個(gè)節(jié)點(diǎn)。這些節(jié)點(diǎn)是解耦的，可以靈活拼裝，從而可以根據(jù)業(yè)務(wù)需要拼裝出不同的Pipeline。同時(shí)，為了使多個(gè)節(jié)點(diǎn)能更好地協(xié)同工作，HiStreamer還支持節(jié)點(diǎn)間的參數(shù)自動(dòng)協(xié)商。

2. HiStreamer插件介紹

了解了HiStreamer的Pipeline框架后，我們?cè)賮?lái)看看HiStreamer插件。

HiStreamer的Pipeline框架的很多節(jié)點(diǎn)（比如輸入節(jié)點(diǎn)、解封裝節(jié)點(diǎn)、解碼節(jié)點(diǎn)、輸出節(jié)點(diǎn)等）都支持插件擴(kuò)展。通過(guò)插件，節(jié)點(diǎn)的功能變得更加豐富、更加強(qiáng)大。

插件的應(yīng)用場(chǎng)景非常廣泛，比如：

● 媒體格式非常多，且以后還會(huì)有新的格式產(chǎn)生，可以通過(guò)插件支持新的媒體格式。

● 不同OS平臺(tái)或設(shè)備，處理方式存在差異，可以通過(guò)插件支持不同的處理方式。

● 不同類型的設(shè)備，需求不同，能提供的CPU/ROM/RAM資源多少也不同，也可以通過(guò)插件來(lái)支持。

3. 彈性部署

HiStreamer基于管道（Pipeline）和插件（plugin）的軟件架構(gòu)，可以根據(jù)設(shè)備的硬件和需求差異實(shí)現(xiàn)彈性部署。

圖3 HiStreamer彈性部署

如圖3所示，Mini設(shè)備（比如音箱），它的CPU處理能力很弱，ROM/RAM資源很少，需要的功能也比較少，只需要音頻播放功能。HiStreamer可以配置成只支持音頻播放，并且選擇輕量級(jí)的插件，配置同步解碼模式，減少資源消耗。而Small設(shè)備，CPU處理能力強(qiáng)一些，ROM/RAM空間大一些，需要音頻播放和視頻播放功能。HiStreamer可以配置成支持音視頻播放，并且選擇功能更強(qiáng)的插件。

三、HiStreamer邏輯架構(gòu)

經(jīng)過(guò)上面的介紹，我們了解了HiStreamer的“管道+插件”的軟件架構(gòu)。下面我們?cè)賮?lái)看看HiStreamer的詳細(xì)的邏輯架構(gòu)。

圖4 HiStreamer邏輯架構(gòu)圖

HiStreamer主要由HiStreamer引擎和HiStreamer插件構(gòu)成。

其中，HiStreamer引擎又分為以下四層：

● 業(yè)務(wù)封裝層：基于Pipeline封裝實(shí)現(xiàn)播放器、錄音機(jī)功能，簡(jiǎn)化上層應(yīng)用使用。

● Pipeline框架層：提供Pipeline和若干個(gè)節(jié)點(diǎn)（輸入、解封裝、解碼和輸出）的實(shí)現(xiàn)，支持把多個(gè)節(jié)點(diǎn)連接在一起形成Pipeline。

● 插件管理層：用于插件生命周期管理，支持動(dòng)態(tài)加載或靜態(tài)鏈接兩種方式使用插件。

● 工具庫(kù)層：提供框架依賴的工具，隔離操作系統(tǒng)差異，提供調(diào)測(cè)功能。

HiStreamer插件，則分為平臺(tái)軟件插件和廠商硬插件兩類：

● 平臺(tái)軟件插件：由OpenHarmony平臺(tái)提供，可跨產(chǎn)品復(fù)用的軟件算法插件。

● 廠商硬插件：由廠商提供的基于硬件加速的插件，如硬件加速的編解碼插件。

應(yīng)用開(kāi)發(fā)者可以直接使用現(xiàn)成的插件來(lái)實(shí)現(xiàn)多媒體功能，節(jié)省大量的開(kāi)發(fā)時(shí)間。插件越豐富，HiStreamer的音視頻處理能力會(huì)更強(qiáng)大。OpenHarmony歡迎廣大開(kāi)發(fā)者參與HiStreamer插件的開(kāi)發(fā)，一起來(lái)豐富HiStreamer插件！

四、HiStreamer插件開(kāi)發(fā)及實(shí)例

下面就為大家介紹HiStreamer插件的開(kāi)發(fā)過(guò)程及實(shí)例講解，感興趣的小伙伴們趕緊學(xué)起來(lái)，一起參與HiStreamer插件開(kāi)發(fā)吧~

1. 插件的開(kāi)發(fā)

HiStreamer插件的開(kāi)發(fā)主要分為插件定義和功能實(shí)現(xiàn)兩個(gè)部分。

（1）插件定義

HiStreamer插件是通過(guò)PLUGIN_DEFINITION宏來(lái)定義的。以輸入插件FileSource為例，定義代碼如下：

使用PLUGIN_DEFINITION宏定義插件（即上面最后一行代碼）時(shí)，傳入了四個(gè)參數(shù)：

a) 插件名稱：即示例中的“FileSource”。

b) License信息：即示例中的“LicenseType::APACHE_V2”。

c) 插件注冊(cè)函數(shù)：即示例中的“FileSourceRegister”，該函數(shù)描述了插件基本信息，包括插件對(duì)象創(chuàng)建函數(shù)，并且還調(diào)用AddPlugin把插件注冊(cè)到系統(tǒng)中。

d) 插件反注冊(cè)函數(shù)：可以傳為空實(shí)現(xiàn)。

（2）功能實(shí)現(xiàn)

實(shí)現(xiàn)插件功能時(shí)，需根據(jù)要實(shí)現(xiàn)的插件類型，繼承對(duì)應(yīng)插件接口類，并實(shí)現(xiàn)相關(guān)接口。比如實(shí)現(xiàn)輸入插件FileSource，需要繼承SourcePlugin，并實(shí)現(xiàn)SetSource、Read等接口，代碼如下：

FileSource插件的完整代碼可參考碼云平臺(tái)OpenHarmony項(xiàng)目：

https://gitee.com/openharmony/multimedia_histreamer/tree/master/engine/plugin/plugins/source/file_source

2. 插件的部署

使用PLUGIN_DEFINITION定義的HiStreamer插件，可以是單一功能的插件，也可以是有多個(gè)功能的插件包。每個(gè)這樣的插件或插件包，可以獨(dú)立編譯成.a或者.so，分別對(duì)應(yīng)以下兩種部署方式：

● 靜態(tài)部署：一般用在mini設(shè)備上，插件編譯成靜態(tài)庫(kù).a，鏈接到系統(tǒng)中。

● 動(dòng)態(tài)部署：一般用在small/standard設(shè)備上，插件編譯成動(dòng)態(tài)庫(kù).so，放到系統(tǒng)指定目錄下，動(dòng)態(tài)加載運(yùn)行。

3. 插件的運(yùn)行

插件開(kāi)發(fā)完成且部署到系統(tǒng)之后，HiStreamer啟動(dòng)時(shí)就會(huì)自動(dòng)完成插件的注冊(cè)。下一步，就是運(yùn)行插件了。

運(yùn)行新實(shí)現(xiàn)的插件，需要先滿足該插件的運(yùn)行條件。比如：FileSource只會(huì)在播放本地文件時(shí)運(yùn)行；MP3解碼插件只會(huì)在播放MP3文件時(shí)運(yùn)行......

開(kāi)發(fā)者可以通過(guò)日志信息，查看是否運(yùn)行了自己的插件。如果有別的插件注冊(cè)到系統(tǒng)中，導(dǎo)致自己的插件無(wú)法運(yùn)行時(shí)，可以卸載引起干擾的插件。卸載動(dòng)態(tài)部署的插件，刪除對(duì)應(yīng)的.so即可；卸載靜態(tài)部署的插件，需要修改編譯腳本取消對(duì)應(yīng)插件的編譯。

五、結(jié)束語(yǔ)

OpenHarmony歡迎廣大開(kāi)發(fā)者一起加入HiStreamer插件開(kāi)發(fā)，擴(kuò)展自己想要的媒體功能，共同豐富HiStreamer媒體生態(tài)!

同時(shí)，預(yù)告大家： HiStreamer的下一個(gè)版本將為Standard設(shè)備增強(qiáng)更多功能，敬請(qǐng)期待！

審核編輯：符乾江