淺析Lyra音頻編解碼器Android開(kāi)源版本

最新消息：Google于今日發(fā)布了Lyra音頻編解碼器Android開(kāi)源版本。

據(jù)悉，開(kāi)源發(fā)布的Lyra代碼是用C++編寫(xiě)的，以提高速度、效率和互操作性，使用了帶有Abseil的Bazel構(gòu)建框架和GoogleTest框架進(jìn)行全面的單元測(cè)試。

前不久，Google推出的Lyra音頻編解碼器——是一種用于語(yǔ)音壓縮的新型超低比特率編解碼器。其在于能給在每秒3kb的網(wǎng)絡(luò)寬帶為用戶提供自然清晰的語(yǔ)音聊天，還可在僅90ms延遲的情況下在從高端云服務(wù)器到中端智能手機(jī)的任何設(shè)備上運(yùn)行。（有關(guān)Lyra的詳細(xì)介紹請(qǐng)瀏覽：在3kbps的帶寬下還能清晰地語(yǔ)音聊天？）

對(duì)此，我們查閱了Google的官方Lyra推送文章，瀏覽了文中所載的相同視頻分別在原版、Opus@6kbps和Lyra@3kbps帶寬下的音頻質(zhì)量對(duì)比（如下所示）。通過(guò)瀏覽對(duì)比，可以明確感知到Lyra在3kbps帶寬情況下，雖然比特率降低為Opus的一半，但其音頻的輸出質(zhì)量卻優(yōu)于Opus。我們著實(shí)被Lyra的音頻輸出質(zhì)量所驚艷。

因此我們聯(lián)系到了負(fù)責(zé)Lyra音頻編解碼器研發(fā)工作的產(chǎn)品經(jīng)理Jamieson Brettle以及主管工程師Jan Skoglund進(jìn)行了一次郵件采訪。雖然僅是一次簡(jiǎn)短的采訪，但是從字里行間中可以看出谷歌團(tuán)隊(duì)對(duì)Lyra音頻編解碼器的音頻生成質(zhì)量充滿了信心。

以下內(nèi)容由LiveVideoStack與Jamieson和Jan的采訪整理而成。

Q 、Lyra是如何做到在比特率低到3kbps的情況下，依然能輸出高質(zhì)量的語(yǔ)音？

首先，Lyra的目的并不是傳輸語(yǔ)音信號(hào)本身，而是提取少量的關(guān)鍵特征，使得模型可以利用這些特征來(lái)合成語(yǔ)音。這些特征可以被高度壓縮，但不會(huì)失去產(chǎn)生高質(zhì)量語(yǔ)音的能力。

Lyra是用于產(chǎn)生語(yǔ)音信號(hào)的，當(dāng)輸入信號(hào)中存在語(yǔ)音時(shí)，該模型可以很好地進(jìn)行語(yǔ)音再生。

Q 、Lyra為什么以3kbps為節(jié)點(diǎn)？

其實(shí)，我們的目標(biāo)是在傳輸語(yǔ)音時(shí)盡可能地少用數(shù)據(jù)，并且即使在最惡劣的網(wǎng)絡(luò)條件下也能進(jìn)行實(shí)時(shí)通信。我們也都知道雖然Opus能以6kbps這么低的速率滿足在2G網(wǎng)絡(luò)上進(jìn)行通信，但是其音頻質(zhì)量卻下降了。

而我們對(duì)Lyra進(jìn)行了調(diào)整，使其能夠在一半的數(shù)據(jù)（3kbps）下工作，同時(shí)在這個(gè)非常低的比特率下可以提供比Opus更高的音頻質(zhì)量，并且能夠運(yùn)行在我們的目標(biāo)設(shè)備上。

Q 、Lyra目前的應(yīng)用范圍與具體的應(yīng)用場(chǎng)景有哪些？

目前，我們專注于確保即使在最糟糕的網(wǎng)絡(luò)狀況下Lyra也能讓用戶進(jìn)行高質(zhì)量的端對(duì)端語(yǔ)音通話。

Q 、Lyra的下一步計(jì)劃是什么？

Lyra的下一步計(jì)劃是為Android開(kāi)發(fā)一個(gè)開(kāi)源的編解碼器，并且我們將開(kāi)始關(guān)注更多的操作系統(tǒng)和硬件目標(biāo)。我們相信，我們所做的研究作為下一代音頻編解碼器的基石，可以應(yīng)用于比實(shí)時(shí)語(yǔ)音更多的用例。

由此可以看出，Lyra的目標(biāo)是幫助那些所處網(wǎng)絡(luò)狀態(tài)惡劣，2G網(wǎng)絡(luò)或有線撥號(hào)連接的用戶提供高質(zhì)量的語(yǔ)音通話，以滿足用戶對(duì)語(yǔ)音通話的最基本需求。除此之外，據(jù)悉Google團(tuán)隊(duì)還提出Lyra與AV1相結(jié)合，將比VP9的編碼效率提高了約40%，并且用戶可以通過(guò)56kbps的撥號(hào)調(diào)制解調(diào)器連接到互聯(lián)網(wǎng)實(shí)現(xiàn)視頻聊天。

但是有媒體也對(duì)此提出了質(zhì)疑：AV1與Lyra的組合對(duì)于使用2G網(wǎng)絡(luò)的手機(jī)用戶來(lái)說(shuō)是行不通的，因?yàn)檫@類手機(jī)無(wú)法支持AV1所需的處理。

對(duì)此，Google Lyra項(xiàng)目的相關(guān)負(fù)責(zé)人也有回應(yīng)：Lyra并不要求用戶使用的一定是5G智能手機(jī)，只是需要有一定計(jì)算能力的智能手機(jī)。在很多發(fā)展中國(guó)家市場(chǎng)，我們注意到，這幾年即使是中低端手機(jī)的計(jì)算力也在快速提升。

另外，負(fù)責(zé)人還提到：在很多歐美市場(chǎng)即使是服務(wù)商無(wú)限制的數(shù)據(jù)計(jì)劃，用戶通常每個(gè)月只有1GB或2GB的高速數(shù)據(jù)，之后的網(wǎng)絡(luò)速度一般會(huì)降到64kbps-128kbps， Lyra和AV1對(duì)這些用戶也會(huì)有非常有價(jià)值。

對(duì)此，僅個(gè)人認(rèn)為：有爭(zhēng)議也好，有質(zhì)疑也罷。對(duì)于一個(gè)新產(chǎn)品來(lái)說(shuō)都需要經(jīng)歷時(shí)間與實(shí)踐的打磨和積累，用戶的使用反饋，才能不斷提升。所以不要急，現(xiàn)在Lyra開(kāi)源只是剛剛開(kāi)始，我們還會(huì)持續(xù)關(guān)注。
編輯：lyn