騰訊優(yōu)圖吳永堅：計算機視覺在產(chǎn)業(yè)中的應(yīng)用實踐和前沿思考

對騰訊優(yōu)圖的發(fā)展歷程，吳永堅表示，優(yōu)圖是非常幸運的，幸運的同時也知道優(yōu)圖選對了方向，只要堅持，還是會有收獲的。

12 月 15 日，以"新趨勢、新技術(shù)、新應(yīng)用"為主題的首屆騰訊云+社區(qū)開發(fā)者大會上，騰訊優(yōu)圖實驗室總監(jiān)吳永堅分享了《計算機視覺在產(chǎn)業(yè)中的應(yīng)用實踐和前沿思考》。目前，騰訊優(yōu)圖在計算機視覺技術(shù)方面的產(chǎn)業(yè)研究和應(yīng)用，涵蓋了零售、安防、金融等領(lǐng)域的實際應(yīng)用案例和經(jīng)驗。

以下為演講整理，文章略有刪減：

什么是計算機視覺？計算機視覺到底是一個什么樣的問題？簡言之，計算機視覺是一門研究如何讓機器“看”的學(xué)問，涉及的重要一點是圖像理解的技術(shù)。

大家也許會問為什么計算機視覺在近五年來發(fā)展特別快，同時也誕生了很多的創(chuàng)業(yè)公司？就本質(zhì)來講，計算機視覺能夠?qū)⒕€上線下的東西關(guān)聯(lián)，關(guān)聯(lián)人、關(guān)聯(lián)物，這是它能發(fā)展起來的一個重要原因。

簡單介紹下，騰訊優(yōu)圖是騰訊旗下的一個頂尖 AI 實驗室，主要專注于人臉、人體、交通、醫(yī)療、影像、自動駕駛等有關(guān)計算機視覺領(lǐng)域的前沿研究和落地應(yīng)用，曾有過多次刷新的實驗記錄。

有幾個數(shù)字需要了解：騰訊優(yōu)圖實驗室可提供 12 個行業(yè)解決方案，接入超過 70 多個騰訊明星產(chǎn)業(yè)的產(chǎn)品，擁有超過 700 多個全球?qū)＠?/p>

作為一個技術(shù)人員來說，我覺得這一組數(shù)據(jù)都是非常值得驕傲的。同時，實驗室每年都會刷新一些新的世界紀(jì)錄，在今年 10 月，騰訊優(yōu)圖推出了DSFD 人臉檢測算法，在兩個關(guān)于人臉檢測的權(quán)威數(shù)據(jù)庫 WIDERFACE 和 FDDB 上再次刷新世界紀(jì)錄。

通過展示騰訊優(yōu)圖相關(guān)技術(shù)棧，可以看到騰訊優(yōu)圖聚焦計算機視覺，輸出整體技術(shù)能力，希望覆蓋到包括社交娛樂、安防、零售在內(nèi)的各行各業(yè)。

嘗試——從QQ空間到“天天P圖”

在騰訊內(nèi)部，我們最先落地的是社交娛樂，這也是我們這幾年來一直去做的事情。優(yōu)圖團隊在 2012 年成立，當(dāng)時正處于 PC 互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)時代，我們需要不斷將技術(shù)輸入到 PC 端的相關(guān)應(yīng)用中。而人臉技術(shù)在當(dāng)時對騰訊甚至整個行業(yè)都很新。那我們?yōu)槭裁催x擇這個行業(yè)？選擇人臉技術(shù)這個比較新的領(lǐng)域進行研究？

當(dāng)時，我們發(fā)現(xiàn) QQ 空間上有很多用戶上傳的圖片素材，而很多用戶公開的圖片中有一半以上是和人的臉部信息相關(guān)的，比如自拍、合照等。我們認(rèn)為這是下一個風(fēng)口，需要提前布局。

雖然我們很早運用了人臉檢測的技術(shù)，在 QQ 空間或 PC 端進行嘗試，但怎么做都沒有產(chǎn)生很大的價值。我們對選擇的技術(shù)方向曾經(jīng)有過糾結(jié)，但我們想既然用戶上傳這么多圖片都有人臉，一定是我們沒研究透徹，不等于它沒有將來。

很幸運，我們等到了另一個移動端的爆款產(chǎn)品“天天P圖”。隨著 2015 年《武媚娘》電視劇火了起來，我們的技術(shù)如人臉美妝、人臉檢測有了用武之地。可以說我們是非常幸運的，幸運的同時也知道我們賭對了方向，只要堅持，還是會有亮點的。

“天天P圖”去年還做的一款變臉 H5 “我的軍裝照”，更成為現(xiàn)象級刷屏事件，訪問量超過 10 億次，作為創(chuàng)新方面的案例被人民日報重點收錄。

延伸——從消費場景到產(chǎn)業(yè)端

從消費互聯(lián)網(wǎng)到產(chǎn)業(yè)互聯(lián)網(wǎng)，從基于消費場景的不斷積累到探索產(chǎn)業(yè)場景的應(yīng)用和落地，這成為騰訊多年發(fā)展歷程里所經(jīng)歷的一個必然階段。騰訊優(yōu)圖也開始嘗試在產(chǎn)業(yè)互聯(lián)網(wǎng)領(lǐng)域的落地，我們首先瞄準(zhǔn)的是安防行業(yè)。2017 年，騰訊優(yōu)圖推出了面向治安管理場景的優(yōu)圖天眼智能安防平臺，以及面向交通監(jiān)督場景的智能交通平臺。

以優(yōu)圖天眼智能安防平臺為例，它支持上億張人臉照的搜索，只要用戶上傳一張人臉照，就可以跟系統(tǒng)庫進行核對反饋，毫秒級別識別速度，比如說對失蹤老人和失蹤兒童問題有很大的社會價值。我們在今年首屆中國國際進口博覽會上，以及深圳市人臉核審統(tǒng)一認(rèn)證平臺項目等等，得到了很多客戶的認(rèn)可。

除了安防外，我們還在零售領(lǐng)域進行了嘗試。

這個賽道里最重要的一點就是如何連接好線上線下。如通過人臉檢測設(shè)備，計算機視覺技術(shù)就可以做一個線上線下很好的關(guān)聯(lián)，所以視覺AI將零售自然而言地關(guān)聯(lián)了起來。

去年年底，我們跟騰訊云聯(lián)合推出了“騰訊優(yōu)Mall智慧零售系統(tǒng)”，可幫助企業(yè)用戶打造“知人知面更知心”的智慧門店，借助計算機視覺能力為不同的顧客進行定制化推薦等。目前我們已與百麗國際旗下的滔博運動建立合作，今年 5 月，我們還聯(lián)合微信支付為家樂福上海天山店提供了刷臉支付系統(tǒng)。

此外，我們還有在金融行業(yè)的嘗試。

在金融領(lǐng)域最主要的應(yīng)用是人臉核身的解決方案，它有效提升了銀行、保險、證券等行業(yè)的核身效率。什么是核身技術(shù)？就是驗證線下這個人是否是與身份證呈現(xiàn)的是同一個人的技術(shù)。這種技術(shù)包括身份證 OCR 技術(shù)、活體檢測和人臉比對技術(shù)，綜合保障人臉核身的準(zhǔn)確性與有效性。目前我們跟騰訊旗下的微眾銀行有了很好的落地合作。

深化——深度學(xué)習(xí)模型推斷與訓(xùn)練研究

剛才說了很多案例，接下來我介紹下騰訊優(yōu)圖在深度學(xué)習(xí)這股技術(shù)浪潮中對計算機視覺的研究與思考。

首先來看看圖像在社交領(lǐng)域的探索。

短視頻這一年非?；?，如何進行實時裝飾是一個非常大的技術(shù)挑戰(zhàn)：

第一點，需要有很高的計算精度，因為將裝飾物投影到人臉上，看得到的人臉像素要非常穩(wěn)，就是說從這一幀到下一幀，人臉位置盡量不能浮動，需要很高的精度；

第二點是計算的速度，因為它覆蓋了很多計算機型，需要一秒能夠處理100 幀以上；

對模型的大小要求也非常高，因為現(xiàn)在前端的很多處理是放在手機端的，其容量及安裝更新都有很大的限制，這就要求我們的大小只能控制在5 兆以內(nèi)。

最后，就是需要特別廣的平臺支持，除了支持如蘋果等高端機型以外，我們還要支持其他中低端的機型，至少實現(xiàn)90% 以上的機型覆蓋。因為不同的機型計算芯片也不一樣，對CPU、GPU 都要有很好的兼容。

我們的首要訴求是，在面對移動端上的實時計算時，對人臉配置需要實時、兼容性好的深度學(xué)習(xí)前向推斷框架。

同樣在安防和商超場景的模型里，對人臉識別模型的需求也非常大。

通過圖中展示的學(xué)術(shù)里程碑，從2012 年開始，深度學(xué)習(xí)的訓(xùn)練模型層數(shù)在不斷加深，訓(xùn)練的能力也越來越強。從最開始的AlexNet/VGGNet模型，到最近的DPN 結(jié)構(gòu)，模型已經(jīng)達到了上千層，并且有了更復(fù)雜的網(wǎng)絡(luò)子模型。

從優(yōu)圖的角度來看，業(yè)務(wù)持續(xù)落地帶來更多的業(yè)務(wù)數(shù)據(jù)，2014 年我們訓(xùn)練的只有百萬級別的數(shù)據(jù)，而現(xiàn)在已是10 億級別甚至更高，如果還是使用單機訓(xùn)練的話需要超過半年時間。

在具體的場景里，如安防、娛樂、商超等，每個場景略有不同。如果對每個場景訓(xùn)練獨立模型，周期太長，無法滿足業(yè)務(wù)快速迭代的需求；此外百萬級搜索參數(shù)規(guī)模已高達4GB，帶寬成為嚴(yán)重的通信瓶頸。

面對計算、帶寬瓶頸和大量定制化的訓(xùn)練需求，這需要我們要有一個大規(guī)模集群化平臺統(tǒng)一訓(xùn)練和解決。

總結(jié)來講，在傳統(tǒng)機器學(xué)習(xí)邁向深度學(xué)習(xí)的過程中，我們始終面臨模型訓(xùn)練與模型推斷的挑戰(zhàn)?，F(xiàn)有的深度學(xué)習(xí)開源框架，面對這兩方面的挑戰(zhàn)，無法提供合適的解決方案。

實際上，我們內(nèi)部研發(fā)了兩個系統(tǒng)：

一個是高性能分布式訓(xùn)練平臺RadpidFlow，可支持多機多卡訓(xùn)練，提供完整的定點量化解決方案?！岸c量化”即意味著從原來的 32 位能夠降到 8 位甚至更低，只有 8 位的訓(xùn)練模型才能更快的在前端跑起來，對帶寬能夠進行充分的利用。

另一個是跨平臺的框架RadpidNet，能夠針對不同的芯片異構(gòu)設(shè)備進行深度定制和優(yōu)化，資源占用少，計算速度快。

值得一提的是，去年，騰訊優(yōu)圖推出了一款移動端開源神經(jīng)推斷網(wǎng)絡(luò)庫 NCNN（RadpidNet的前身）。目前它不僅在業(yè)界所有開源深度前向推斷框架中排名第一，而且已經(jīng)被很多公司所應(yīng)用，在今年被邀請加入了 Facebook ONNX 社區(qū)。當(dāng)然，在我們看來NCNN還是有很多不能滿足業(yè)務(wù)需求的，所以我們后來基于NCNN做了很多研發(fā)創(chuàng)新，形成了現(xiàn)在我們使用的RapidNet。

演進——性能不斷提升，功耗持續(xù)優(yōu)化

另外再說一下當(dāng)前芯片的發(fā)展趨勢。

大家經(jīng)常會聽到 CPU、GPU、AI 芯片，它們到底是什么關(guān)系？我簡單總結(jié)一下芯片的發(fā)展趨勢。

就芯片本身來講，因面積有限，最開始 CPU 為保證通用處理性能會占用很多的控制單元，而這部分不是用來計算的，算力比較弱；到了 GPU 時代，也就是 NVIDIA 發(fā)展起來的一個重要時期，它能夠把原來圖形處理的設(shè)計單元與深度學(xué)習(xí)進行適配，算力強，但功耗比較高；再往后的專用 AI 芯片，專用卷積加速模塊，為 AI 加速設(shè)計，包括很多的大公司或創(chuàng)業(yè)公司都在做這類的 AI 芯片。

通過騰訊優(yōu)圖過去幾年嘗試的真實場景中所積累的經(jīng)驗，可以發(fā)現(xiàn)兩個很明顯的發(fā)展趨勢：

首先是性價比會越來越高，同樣的價格，同一芯片所能提供的算力越來越強，這符合摩爾定律；但如果打通這些芯片橫向?qū)Ρ龋覀冞€發(fā)現(xiàn)一個規(guī)律，單位功耗所買到的算力也越來越高，也就是說，單位算力輸出的情況下，功耗越來越低，這就引入了所謂“云+端”的概念。

這導(dǎo)致的另一個趨勢是，計算力開始從云向端上走。如從前段時間的英偉達的GPU到現(xiàn)在的英特爾Movidus芯片和國內(nèi)的華為海思芯片都在進行這方面的嘗試，騰訊優(yōu)圖深度學(xué)習(xí)平臺的研究方向也從原來的 CPU、GPU 往 AI 芯片的方向上走。

在 11 月初的騰訊全球合作伙伴大會上，騰訊優(yōu)圖推出了一系列智能硬件產(chǎn)品，其中包括優(yōu)圖人臉識別一體機、優(yōu)圖盒子及騰訊優(yōu)圖 AI 攝影機。通過軟硬件協(xié)同，騰訊優(yōu)圖以更低成本、更佳性能和更優(yōu)體驗打造一體化的行業(yè)解決方案。

圖中展現(xiàn)了我們當(dāng)前在商超里面部署的三款硬件產(chǎn)品，可以看到：優(yōu)圖人臉識別一體機，可實現(xiàn)便利店無人值守自助進店、員工考勤簽到等功能；優(yōu)圖盒子，通過攝像機進行前端人臉檢測與識別，解決的是存量的問題；騰訊優(yōu)圖 AI 攝影機，解決的則是增量的問題，既可進行人臉檢測，也可輸出區(qū)域熱力圖。這是比較完整的軟硬一體化的、“云+端”的商超場景下的解決方案。

目前，優(yōu)圖人臉識別一體機已經(jīng)率先在上海佘山世茂洲際深坑酒店落地，用戶只需“刷臉”就可完成會員注冊與綁定、酒店用餐、結(jié)賬免密支付等操作。

總結(jié)一下，騰訊優(yōu)圖以計算機視覺技術(shù)為核心，通過騰訊云以及騰訊 AI 開放平臺將自身的 AI 技術(shù)能力輸出給更多的開發(fā)者和企業(yè)，從最底層的計算平臺，到中間的算法能力，再到安防、金融、零售、工業(yè)、教育等多個行業(yè)解決方案的能力輸出。