賽事直播同步解說(shuō),技術(shù)難點(diǎn)解讀

現(xiàn)在很多比賽與活動(dòng)都會(huì)出現(xiàn)在網(wǎng)絡(luò)直播間中，比如最近剛剛開(kāi)賽的KPL電競(jìng)賽事，抑或是今年即將開(kāi)賽的世界杯。賽事直播的數(shù)量會(huì)逐漸變多。目前的賽事直播有兩種，一種是單純的轉(zhuǎn)播賽事畫面（包括電視臺(tái)解說(shuō)），另一種是通過(guò)OBS類軟件，將賽事直播畫面與主播畫面合圖后推送給觀眾，但是這兩種方式都無(wú)法讓主播與觀眾直接進(jìn)行連麥互動(dòng)。

如果想同時(shí)實(shí)現(xiàn)賽事直播與主播連麥，也不無(wú)可能。在主播直播過(guò)程中，主播可以通過(guò)拉流的方式，將外部視頻流加入到自己直播畫面中。當(dāng)然，通過(guò)這種方式，我們能引入的視頻源不僅僅局限于電競(jìng)比賽、體育賽事，還可以是熱門電視劇、活動(dòng)直播，甚至是無(wú)人機(jī)的實(shí)時(shí)航拍畫面。

這種方式不僅可以解決賽事直播缺少連麥互動(dòng)，還可以讓普通直播間可以從單純的唱見(jiàn)、手游直播、戶外直播，瞬間變成圍繞共同興趣或?qū)崟r(shí)熱點(diǎn)的互動(dòng)直播間，主播與觀眾一邊看“節(jié)目”，一邊音視頻連麥互動(dòng)。

在這個(gè)場(chǎng)景中具體需要實(shí)現(xiàn)以下幾個(gè)功能：

引入外部視頻流

主播音視頻直播

兩個(gè)視頻流合圖

兩個(gè)視頻流時(shí)間同步

其它業(yè)務(wù)功能（禮物、彈幕、評(píng)論等）

實(shí)現(xiàn)難點(diǎn)解析

難點(diǎn)一：外部視頻源轉(zhuǎn)碼

外部視頻源多種多樣，視頻格式、分辨率、幀率、碼率千差萬(wàn)別。所以，為了適應(yīng)不同的終端設(shè)備和網(wǎng)絡(luò)，會(huì)在接到視頻源后進(jìn)行轉(zhuǎn)碼。

普通視頻網(wǎng)站在做賽事轉(zhuǎn)播的時(shí)候，一般會(huì)提取到的格式是 mp4，但也會(huì)出現(xiàn)其它格式。而分辨率則可能是 360p、720p 或 1080p。所以獲取到賽事視頻流時(shí)，需要先對(duì)該流轉(zhuǎn)碼，生成一路流，再通過(guò) CDN 推到觀眾端。為了兼容不同的終端和網(wǎng)絡(luò)，在轉(zhuǎn)碼時(shí)可生成多個(gè)分辨率的資源，服務(wù)端配套相應(yīng)的策略來(lái)分發(fā)。

而“外部視頻源”不但是為了適配終端和網(wǎng)絡(luò)，還為了便于與主播畫面合圖。直播平臺(tái)的主播視頻流是已經(jīng)定義好的，外部視頻源的幀率、碼率、分辨率不統(tǒng)一的情況時(shí)，無(wú)法合圖，進(jìn)一步導(dǎo)致無(wú)法推流至觀眾端。

因此，需要有轉(zhuǎn)碼，這部分工作如果沒(méi)有做好，會(huì)導(dǎo)致只能支持有限的外部視頻源格式，比如固定的 AVx 或 H.264。 無(wú)法降低或修改分辨率、碼率、幀率。外部音視頻流與主播音視頻流的結(jié)合也較為復(fù)雜，兩路流合成一路流時(shí)，合圖的邏輯、音效處理邏輯都需要考慮。

難點(diǎn)二：主播流與外部流時(shí)間同步

在使用場(chǎng)景中，主播在獲取到外部音視頻流后，會(huì)同步解說(shuō)。兩路流是分別傳輸至服務(wù)端合圖，并不是在主播端合圖。因此，合圖時(shí)要做好主播與外部流的時(shí)間同步，讓主播的解說(shuō)與外部流的畫面能夠?qū)?yīng)。

如果以 AgoraSD-RTN? 作為服務(wù)端，我們可以通過(guò)下圖來(lái)解釋時(shí)間同步的過(guò)程。音視頻流傳輸主要有三個(gè)環(huán)節(jié)：

1.藍(lán)色部分：第三方視頻流處理（藍(lán)色）；

2.黃色部分：主播音視頻流傳輸至 Agora SD-RTN?（黃色）；

3.紅色部分：合圖后的流經(jīng)過(guò) CDN 發(fā)送至觀眾端；

需要做同步的是藍(lán)色和黃色部分。這兩個(gè)環(huán)節(jié)要延時(shí)、并且有時(shí)間戳標(biāo)記。

難點(diǎn)三：信令可靠性

從架構(gòu)圖可以看出，請(qǐng)求外部視頻流、外部視頻流轉(zhuǎn)碼、合圖三個(gè)環(huán)節(jié)都需要信令的參與。信令的可靠性，直接影響相應(yīng)環(huán)節(jié)的成功率。

提升信令可靠性要通過(guò)覆蓋骨干網(wǎng)絡(luò)的大網(wǎng)和讓用戶就近接入的邊緣節(jié)點(diǎn)，二者缺一不可。

如何通過(guò) Agora SDK 實(shí)現(xiàn)？

現(xiàn)在，開(kāi)發(fā)者通過(guò)聲網(wǎng)Agora SDK 2.1版新增的“外部輸入直播視頻源”功能，可以直接跨過(guò)上述三大難點(diǎn)，實(shí)現(xiàn)邏輯如下：

1.第三方視頻流處理；

1）主播端通過(guò)信令，請(qǐng)求轉(zhuǎn)碼服務(wù)器從拉取外部音視頻源；

2）外部視頻流進(jìn)入轉(zhuǎn)碼服務(wù)器，轉(zhuǎn)碼后傳入 Agora SD-RTN?；

2.主播音視頻流傳輸至 Agora SD-RTN?；

3.主播音視頻流與外部音視頻流在 Agora SD-RTN? 內(nèi)合圖；

4.信令控制合圖后的流再次轉(zhuǎn)碼，成為 rtmp 流，經(jīng)過(guò) CDN 發(fā)送至觀眾端 。

支持賽事直播場(chǎng)景的同時(shí)，“外部輸入視頻源”還可支持多種場(chǎng)景，比如：

1.在直播中拉入一路或多路 RTMP 或 HLS 流，可以是比賽、演出，同時(shí)多人看視頻，并互動(dòng)；

2.除了網(wǎng)絡(luò)視頻源，還能將無(wú)人機(jī)或其它網(wǎng)絡(luò)攝像頭捕獲的畫面引入主播畫面。