愛(ài)奇藝技術(shù)總監(jiān)：奇觀識(shí)別方案從云遷移到端的探索和實(shí)踐

近年來(lái)，各類短視頻、視頻應(yīng)用如雨后春筍般涌現(xiàn)， “AI+ 視頻"的模式也是近期的熱點(diǎn)方向。

奇觀是愛(ài)奇藝原創(chuàng)推出的 AI 創(chuàng)新應(yīng)用產(chǎn)品，它融合了多模態(tài)人物識(shí)別、卡通角色識(shí)別、臺(tái)詞實(shí)體抽取、BGM 識(shí)別等 AI 技術(shù)，支持用戶在觀影過(guò)程中識(shí)別視頻中的明星人物、卡通角色、背景音樂(lè)和臺(tái)詞梗等視頻內(nèi)信息。

為了進(jìn)一步了解愛(ài)奇藝在“AI+ 視頻”方向上的探索，在 QCon 上海站前夕，InfoQ 有幸采訪了愛(ài)奇藝技術(shù)總監(jiān)朱俊敏，聽(tīng)他分享愛(ài)奇藝奇觀如何融合了多模態(tài)人物識(shí)別、卡通角色識(shí)別、BGM 識(shí)別、臺(tái)詞實(shí)體抽取等多種 AI 技術(shù)來(lái)挖掘視頻的周邊內(nèi)容。

愛(ài)奇藝在“AI+ 視頻”上的探索

作為視頻平臺(tái)，愛(ài)奇藝一直致力于人工智能與視頻、娛樂(lè)產(chǎn)業(yè)的結(jié)合，并陸續(xù)推出了針對(duì)內(nèi)容創(chuàng)作、用戶推薦等方面的智能產(chǎn)品。奇觀 是愛(ài)奇藝原創(chuàng)推出的 AI 創(chuàng)新應(yīng)用產(chǎn)品，截至今年 7 月，奇觀功能累計(jì)使用量已超 20 億次。

據(jù)愛(ài)奇藝技術(shù)總監(jiān)朱俊敏介紹，作為一款融合了多模態(tài)人物識(shí)別、卡通角色識(shí)別、臺(tái)詞實(shí)體抽取、BGM 識(shí)別等 AI 技術(shù)的產(chǎn)品，奇觀的萌芽需求來(lái)源于用戶。當(dāng)時(shí)愛(ài)奇藝在分析用戶的彈幕時(shí)發(fā)現(xiàn)，有一定比例的用戶都在詢問(wèn)“當(dāng)前的演員是誰(shuí)？”， “背景音樂(lè)是啥？” 等跟視頻強(qiáng)相關(guān)的問(wèn)題。原來(lái)用戶獲取該類問(wèn)題的答案路徑是通過(guò)愛(ài)奇藝搜索或者百度搜索，但是效果并不是很好，造成這一結(jié)果的原因主要有兩方面：一方面是因?yàn)橛脩粜枰蚱圃瓉?lái)沉浸式的觀影體驗(yàn)；另一方面在于搜索無(wú)法做到海量?jī)?nèi)容實(shí)時(shí)索引，內(nèi)容熱播的時(shí)候一般是無(wú)法搜索到用戶想要的結(jié)果的。

為了解決上述問(wèn)題，愛(ài)奇藝于 2019 年首先在 TV 端進(jìn)行了一些嘗試。用戶在觀影時(shí)（當(dāng)時(shí)的名字叫 AI 雷達(dá)），可以通過(guò)遙控上鍵識(shí)別視頻中的明星，奇觀產(chǎn)品推出后得到用戶的一致好評(píng)，功能滲透率超出團(tuán)隊(duì)的預(yù)期。

后來(lái)，研發(fā)團(tuán)隊(duì)又將該功能擴(kuò)展到移動(dòng)端，通過(guò)雙指雙擊的簡(jiǎn)單手勢(shì)觸達(dá)更多的用戶群體，滿足用戶了解內(nèi)容背后知識(shí)的需求。識(shí)別能力也逐漸從原來(lái)的明星識(shí)別， 擴(kuò)展到背景音樂(lè)識(shí)別，臺(tái)詞實(shí)體知識(shí)，卡通角色識(shí)別等。

對(duì)紛繁復(fù)雜的明星、背景音樂(lè)、卡通角色等元素的精準(zhǔn)識(shí)別并不是件容易事。就拿多模態(tài)人物識(shí)別來(lái)說(shuō)，愛(ài)奇藝針對(duì)視頻中人物身份識(shí)別的難點(diǎn)進(jìn)行了全方位的優(yōu)化改進(jìn)，利用人臉質(zhì)量模型顯著減低了誤檢、差臉的干擾，綜合利用人臉、人頭、人體、聲紋等多維度特征信息，通過(guò)局部加全局聚類的方式，對(duì)視頻中的人物進(jìn)行識(shí)別，大幅度提高了識(shí)別精度和召回。同時(shí)，團(tuán)隊(duì)還提供人臉的多維度屬性標(biāo)簽，如年齡、男女、顏值等，并將屬性標(biāo)簽和人臉識(shí)別模型進(jìn)行整合，在保證精度的情況下，顯著降低資源開(kāi)銷(xiāo)、提高資源利用效率。目前線上模型包含 10+ 個(gè)屬性，相較于工業(yè)界的其他模型更加全面。愛(ài)奇藝人臉識(shí)別與屬性模型十五合一，一個(gè)模型可以同時(shí)識(shí)別身份屬性，且各項(xiàng)屬性的識(shí)別精度也比較高。目前線上奇觀服務(wù)的明星識(shí)別準(zhǔn)確率達(dá) 99.5%。

多模態(tài)人物識(shí)別技術(shù)的技術(shù)實(shí)現(xiàn)框圖如下：

朱俊敏坦言，為了達(dá)到 99.5% 的明星識(shí)別準(zhǔn)確率，算法團(tuán)隊(duì)付出了諸多努力。首先，他們分別訓(xùn)練了人臉、人頭、人體和聲紋特征的提取模型。再在人臉的幀級(jí)特征上增加了一個(gè) NetVLAD 模塊，將幀級(jí)特征轉(zhuǎn)換成視頻維度的特征，這樣可以充分利用幀級(jí)人臉信息，提高特征的表達(dá)能力。在特征融合層，為了充分利用多模態(tài)特征，并且降低了噪聲的干擾，團(tuán)隊(duì)還創(chuàng)新性地提出了 Multi-model Attention 模塊來(lái)自適應(yīng)地對(duì)各個(gè)模態(tài)分配不同的權(quán)重，并基于這些權(quán)重來(lái)進(jìn)行多模態(tài)特征的融合，顯著提高了算法的魯棒性，大幅度提高了視頻人物識(shí)別的精度。

下面的表格是研發(fā)團(tuán)隊(duì)從人臉特征開(kāi)始逐漸增加多模態(tài)特征信息、NetVLAD 和 MMA 模塊的精度收益情況，從表中可以得出，隨著多模態(tài)信息的增加，愛(ài)奇藝的人臉識(shí)別精度穩(wěn)定提升，這充分驗(yàn)證了愛(ài)奇藝多模態(tài)人物識(shí)別方法的有效性。

這樣一項(xiàng)識(shí)別準(zhǔn)確度高、廣受好評(píng)的產(chǎn)品，其實(shí)它的研發(fā)周期并沒(méi)有十分漫長(zhǎng)。朱俊敏表示，多年來(lái)，愛(ài)奇藝在 NLP、聲音和視覺(jué)的 AI 能力方面有深厚的積累，得益于愛(ài)奇藝長(zhǎng)期對(duì)算法團(tuán)隊(duì)的投入，當(dāng)決定做奇觀產(chǎn)品時(shí)，大部分的算法和基礎(chǔ)設(shè)施已經(jīng)比較成熟。團(tuán)隊(duì)只需從用戶需求出發(fā)，根據(jù)實(shí)際場(chǎng)景對(duì)算法和方案進(jìn)行策略調(diào)整，快速實(shí)現(xiàn)產(chǎn)品化。朱俊敏稱：

如果將奇觀比喻為一棟房子，多模態(tài)人物識(shí)別、卡通角色識(shí)別、BGM 識(shí)別等 AI 技術(shù)就是地基。正是因?yàn)閷?duì) AI 長(zhǎng)期的投入，有堅(jiān)實(shí)的地基以支撐愛(ài)奇藝蓋出更漂亮的房子。

識(shí)別方案如何從云遷移到端

從奇觀萌生開(kāi)始，研發(fā)團(tuán)隊(duì)就決定采用純?cè)贫说淖R(shí)別方案，之所以會(huì)做出這樣的決定，朱俊敏介紹，主要是考慮到算法的復(fù)雜度，在客戶端既要播放視頻（需要處理解碼和上屏），又要處理 AI 算法，芯片性能可能跟不上，而且手機(jī)的散熱和電池問(wèn)題也會(huì)比較突出，所以奇觀一開(kāi)始定方案的時(shí)候是采用純?cè)贫说淖R(shí)別方案。

后來(lái)，隨著算法的優(yōu)化和解耦，以人物識(shí)別為例，實(shí)現(xiàn)檢測(cè)和識(shí)別的解耦，而且人臉檢測(cè)的算法做到足夠輕量級(jí)，實(shí)現(xiàn) CPU 可流暢推理。團(tuán)隊(duì)開(kāi)始尋求實(shí)現(xiàn)云 + 端的模式， 把算法解耦，檢測(cè)部署在端上，識(shí)別部署在云端。這樣做的好處是：一方面，在端上做檢測(cè)，可以過(guò)濾很多無(wú)人物的情況，減少網(wǎng)絡(luò)傳輸和云端識(shí)別的計(jì)算資源浪費(fèi)；另一方面，端上做檢測(cè)，在用戶交互體驗(yàn)可以更優(yōu)，實(shí)現(xiàn)人物區(qū)域可跟蹤。

端上的識(shí)別方案不是云端方案的簡(jiǎn)單復(fù)刻，朱俊敏提到，在實(shí)現(xiàn)“云 + 端”的過(guò)程中，其難點(diǎn)主要在于兩方面：一方面是芯片的適配，原來(lái)云端 GPU 的算法，考慮到客戶端上 GPU 的參差不齊，需要把算法改造成 CPU 推理模式。另一方面，算法模型遷移到客戶端，需要考慮到客戶端本身的限制，不能顯著增加整體 app 安裝包的大小。所以為了適配客戶端，算法本身需要做 CPU 遷移，并通過(guò)蒸餾壓縮模型大小，同時(shí)還需要客戶端的工程師配合集成相應(yīng)的算法 runtime，同時(shí)建立模型動(dòng)態(tài)加載的機(jī)制，盡可能地減少客戶端的包的大小。

“云 + 端”模式將更快普及和應(yīng)用

隨著 5G 的逐步發(fā)展，朱俊敏認(rèn)為，“云 + 端”這種模式會(huì)得到更快的普及和應(yīng)用。5G 將作為一種全新的網(wǎng)絡(luò)架構(gòu)，提供 10Gbps 以上的峰值速率、更佳的移動(dòng)性能、毫秒級(jí)時(shí)延和超高密度連接。而且客戶端的性能越來(lái)越強(qiáng)，前面提到的云 + 端難點(diǎn)將不再是問(wèn)題。這樣可以給算法部署和應(yīng)用更多的靈活性，業(yè)務(wù)可以根據(jù)自己場(chǎng)景和用戶體驗(yàn)來(lái)決定是否將更多的算法部署到客戶端。

而且 5G 網(wǎng)絡(luò)的特性，決定其更加去中心化，需要在網(wǎng)絡(luò)邊緣部署小規(guī)模或者便攜式數(shù)據(jù)中心，進(jìn)行終端請(qǐng)求的本地化處理，也就是人們所說(shuō)的邊緣計(jì)算，將來(lái)的服務(wù)可能會(huì)進(jìn)一步從“云 + 端”過(guò)度到“云 + 邊 + 端”的模式上。

除了在“云 + 端”模式上繼續(xù)發(fā)力外，奇觀下一步的重點(diǎn)會(huì)繼續(xù)擴(kuò)展識(shí)別的品類。比如：動(dòng)植物的百科實(shí)體類識(shí)別；電子產(chǎn)品和汽車(chē)等標(biāo)準(zhǔn)品的識(shí)別；以及各類穿著垂類商品的識(shí)別。另一方面會(huì)繼續(xù)優(yōu)化現(xiàn)有的識(shí)別體驗(yàn)，提高整體有結(jié)果率，目標(biāo)是實(shí)現(xiàn)應(yīng)有盡有的識(shí)別。

因?yàn)樯硖幵趦?nèi)容行業(yè)，朱俊敏還表示，他會(huì)繼續(xù)關(guān)注 AI 在聲音和視覺(jué)上的算法創(chuàng)新，探索交互方面的新場(chǎng)景，未來(lái)，希望看到 AI 在內(nèi)容創(chuàng)意和創(chuàng)作方面也能發(fā)揮上賦能提效的作用。

嘉賓介紹：

朱俊敏，愛(ài)奇藝技術(shù)總監(jiān)。上海交通大學(xué)碩士，擁有 3 篇美國(guó)專利， 8 篇中國(guó)專利。2015 年加入愛(ài)奇藝，負(fù)責(zé) AI 產(chǎn)品落地和創(chuàng)新應(yīng)用開(kāi)發(fā)，先后孵化了 HomeAI（智能語(yǔ)音交互平臺(tái)）， 奇觀（智能識(shí)別平臺(tái)），逗芽（表情生產(chǎn)和分發(fā)平臺(tái)） 等創(chuàng)新應(yīng)用。

本文轉(zhuǎn)自 公眾號(hào)：AI前線 ，作者李冬梅，點(diǎn)擊閱讀原文

審核編輯：符乾江