關(guān)于計(jì)算機(jī)視覺(jué)的智能化前端化思考

視頻大數(shù)據(jù)作為攝像頭等硬件的普及與人工智能算法飛速發(fā)展相結(jié)合的產(chǎn)物，近年來(lái)的發(fā)展得到了人們的廣泛關(guān)注。計(jì)算機(jī)視覺(jué)作為視頻大數(shù)據(jù)分析的一個(gè)重要環(huán)節(jié)，特別是人工智能和深度學(xué)習(xí)的算法在計(jì)算機(jī)視覺(jué)更廣泛的應(yīng)用，使計(jì)算機(jī)視覺(jué)這幾年熱度一直不減。

本文我們從計(jì)算機(jī)視覺(jué)的智能化前端去思考，這里的智能化前端指智能硬件、移動(dòng)設(shè)備等輕量級(jí)的硬件，以區(qū)別于云端服務(wù)器級(jí)別的設(shè)備。我們一直認(rèn)為，市場(chǎng)和實(shí)際的應(yīng)用是決定一個(gè)產(chǎn)業(yè)能否發(fā)展的先決條件，再?gòu)墓こ碳夹g(shù)的角度去分析是否滿足實(shí)際應(yīng)用場(chǎng)景；同時(shí)工程技術(shù)的成熟，又會(huì)促進(jìn)市場(chǎng)和實(shí)際應(yīng)用、商業(yè)模式的發(fā)展。因此，本文主要從市場(chǎng)/應(yīng)用、算法和硬件三個(gè)維度去探討。當(dāng)然由于本人知識(shí)儲(chǔ)備尚且有不足，希望能拋磚引玉，借此與各算法、硬件的產(chǎn)業(yè)界專(zhuān)家，以及行業(yè)研究者做更深入的探討。

一、行業(yè)與應(yīng)用

如上次文章的闡述，我們一直從全產(chǎn)業(yè)鏈、競(jìng)爭(zhēng)格局、技術(shù)發(fā)展趨勢(shì)、應(yīng)用導(dǎo)向和市場(chǎng)空間5個(gè)維度，來(lái)分析行業(yè)發(fā)展的機(jī)會(huì)。

計(jì)算機(jī)視覺(jué)作為一種人工智能的基礎(chǔ)技術(shù)應(yīng)用，使用場(chǎng)景多樣，市場(chǎng)潛力巨大。其中，人臉識(shí)別和視頻監(jiān)控作為計(jì)算機(jī)視覺(jué)的重要應(yīng)用領(lǐng)域，2015年市場(chǎng)容量已達(dá)十億和百億級(jí)別。隨著計(jì)算機(jī)視覺(jué)與傳統(tǒng)行業(yè)、商業(yè)聯(lián)系越來(lái)越緊密，未來(lái)更具有市場(chǎng)空間。

從計(jì)算機(jī)視覺(jué)的產(chǎn)業(yè)鏈來(lái)看，包括了基礎(chǔ)支撐層、技術(shù)提供層、以及場(chǎng)景應(yīng)用層。從產(chǎn)業(yè)鏈的廠商來(lái)看，包括了側(cè)重于算法的Google、Microsoft、facebook、BAT等互聯(lián)網(wǎng)公司，Intel、Nvidia等半導(dǎo)體公司，?？?、大華等傳統(tǒng)公司，也包括曠視、商湯、依圖等創(chuàng)業(yè)公司。從競(jìng)爭(zhēng)的格局來(lái)看，由于Google、微軟等互聯(lián)網(wǎng)巨頭對(duì)算法等經(jīng)常做開(kāi)源算法，初創(chuàng)企業(yè)在通用層面很難以算法來(lái)保持競(jìng)爭(zhēng)優(yōu)勢(shì)，而是必須結(jié)合特定的應(yīng)用場(chǎng)景，采用軟硬件結(jié)合的方式，深耕細(xì)分垂直市場(chǎng)，更容易保持持續(xù)性的優(yōu)勢(shì)。

從技術(shù)發(fā)展趨勢(shì)來(lái)看，由于基于人工智能的深度學(xué)習(xí)的廣泛應(yīng)用，計(jì)算機(jī)視覺(jué)的準(zhǔn)確度和識(shí)別率已經(jīng)超過(guò)人眼，當(dāng)然這是在服務(wù)器端硬件處理能力、并行計(jì)算能力，深度學(xué)習(xí)算法、以及海量視頻圖像數(shù)據(jù)等因素的驅(qū)動(dòng)下。但是隨著智能前端芯片的處理能力越來(lái)越強(qiáng)，我們希望看到越來(lái)越多的計(jì)算機(jī)視覺(jué)處理部分能放到前端來(lái)處理，無(wú)疑這意味著失去了以Hadoop大數(shù)據(jù)并行計(jì)算的優(yōu)勢(shì)，同時(shí)由于硬件處理能力減弱，我們必須對(duì)整個(gè)視覺(jué)模型進(jìn)行裁減，如把20多層的深度神經(jīng)網(wǎng)絡(luò)減少到7層，可能要先在服務(wù)器上進(jìn)行模型訓(xùn)練，再以先驗(yàn)的閾值對(duì)前端進(jìn)行巧妙的設(shè)置，同時(shí)要充分考慮到精確度、能耗、吞吐量/延遲性以及成本，這無(wú)疑對(duì)硬件與算法提出了挑戰(zhàn)。

DSP的全稱(chēng)為Digital Signal Process，即數(shù)字信號(hào)處理技術(shù)，目前全球最大的DSP芯片廠商是TI，最大的DSP IP廠商是CEVA。DSP芯片被廣泛用于自動(dòng)控制、圖像處理、通信技術(shù)、網(wǎng)絡(luò)設(shè)備、儀器儀表和家電等領(lǐng)域。DSP芯片的內(nèi)部采用程序和數(shù)據(jù)分開(kāi)的哈佛結(jié)構(gòu)，具有專(zhuān)門(mén)的硬件乘法器，廣泛采用流水線操作，提供特殊的DSP指令，可以用來(lái)快速地實(shí)現(xiàn)各種數(shù)字信號(hào)處理算法，如數(shù)字濾波、自適應(yīng)濾波、快速傅里葉變換、相關(guān)運(yùn)算、頻譜分析、卷積等。

DSP天然擁有處理計(jì)算機(jī)視覺(jué)算法的優(yōu)勢(shì)。近期Inuitive已經(jīng)取得CEVA-XM4智慧視覺(jué)DSP的授權(quán)許可，并且也已經(jīng)部署在其下一代的AR/VR 和電腦視覺(jué)SoC元件NU4000之中。Inuitive將利用CEVA-XM4來(lái)運(yùn)行復(fù)雜的即時(shí)深度感測(cè)、特征跟蹤、目標(biāo)識(shí)別、深度學(xué)習(xí)和其它以各種行動(dòng)設(shè)備為目標(biāo)的視覺(jué)相關(guān)之演算法，這些行動(dòng)設(shè)備包括擴(kuò)增實(shí)境和虛擬實(shí)境頭戴耳機(jī)、無(wú)人機(jī)、消費(fèi)機(jī)器人、360度相機(jī)和深度感測(cè)器等。NU3000以第三代的CEVA-MM3101圖像和視覺(jué)DSP來(lái)提供立體視覺(jué)功能，現(xiàn)在是Google Project Tango生態(tài)系統(tǒng)中的一部分，開(kāi)發(fā)人員能夠利用它來(lái)開(kāi)發(fā)需要即時(shí)深度產(chǎn)生、映射、定位、導(dǎo)航和其它復(fù)雜信號(hào)處理演算法的應(yīng)用。

CEVA ADK包括一個(gè)可簡(jiǎn)化軟體發(fā)展和整合工作的安卓多媒體框架(AMF)、一套先進(jìn)的軟體發(fā)展工具和一系列專(zhuān)為這些DSP而優(yōu)化的軟體產(chǎn)品及程式庫(kù)。針對(duì)以深度學(xué)習(xí)為目標(biāo)的嵌入式系統(tǒng)，CEVA深層類(lèi)神經(jīng)網(wǎng)路(Deep Neural Network，CDNN)即時(shí)類(lèi)神經(jīng)網(wǎng)路軟體框架簡(jiǎn)化機(jī)器學(xué)習(xí)部署，功耗遠(yuǎn)遠(yuǎn)低于基于先進(jìn)GPU的系統(tǒng)。

我認(rèn)為在機(jī)器視覺(jué)的智能化前端，DSP會(huì)有更廣泛的應(yīng)用，甚至不亞于GPU。

最近有報(bào)道，亞馬遜（AWS）宣布將通過(guò)云交付模式提供高端 Xilinx FPGA，首先提供開(kāi)發(fā)者預(yù)覽模式，然后使用更高級(jí)的工具進(jìn)行分支，以幫助新用戶啟用和調(diào)試 FPGA 加速?；贔PGA的深度學(xué)習(xí)算法越來(lái)越受重視。不僅在云端，目前基于FPGA的計(jì)算機(jī)視覺(jué)的智能化前端應(yīng)用也很廣，包括基于FPGA的視覺(jué)ADAS的應(yīng)用，圖形圖像視頻識(shí)別等方面。由于FPGA是采用硬件描述語(yǔ)言如Verilog、VHDL等，與我們通常理解的軟件不一樣，硬件具有時(shí)序概念，很適合同步運(yùn)算。拿高端的來(lái)說(shuō)，3000多個(gè)固定乘法器，拿數(shù)字邏輯還能搭3000個(gè)，最快能到接近300mhz, 也就是1800g這個(gè)量級(jí)。在實(shí)時(shí)性、流處理方面都有優(yōu)勢(shì)，從渠道的反饋情況，在功耗性能比上，優(yōu)于GPU。

最近在看一本書(shū)，《FPGA前沿：可重構(gòu)計(jì)算的新應(yīng)用》，里面有關(guān)于FPGA在新的應(yīng)用領(lǐng)域的探討，推薦大家看一下。誠(chéng)如書(shū)中所言，目前FPGA方面要解決好易開(kāi)發(fā)的問(wèn)題，如采用OpenCL建立通用的API層，便于客戶的二次開(kāi)發(fā)。在這一塊，我們會(huì)一直跟蹤Xilinx及其合作伙伴，在創(chuàng)建基于FPGA的各種深度學(xué)習(xí)包括機(jī)器視覺(jué)開(kāi)發(fā)庫(kù)上的進(jìn)展。

二、智能前端算法

計(jì)算機(jī)視覺(jué)是指用計(jì)算機(jī)來(lái)模擬人的視覺(jué)系統(tǒng)，實(shí)現(xiàn)人的視覺(jué)功能，以適應(yīng)、理解外界環(huán)境和控制自身的運(yùn)動(dòng)。概括的說(shuō)，視覺(jué)系統(tǒng)主要解決的是物體識(shí)別、物體形狀和方位確認(rèn)以及物體運(yùn)動(dòng)判斷這三個(gè)問(wèn)題。從技術(shù)上來(lái)說(shuō)，主要分為目標(biāo)檢測(cè)、目標(biāo)識(shí)別、行為識(shí)別。

關(guān)于計(jì)算機(jī)視覺(jué)上的算法進(jìn)展，在2010年，ImageNet 創(chuàng)建，提供了一個(gè)真正大規(guī)模有標(biāo)注的圖像數(shù)據(jù)集，在千萬(wàn)圖像量級(jí)，有上千圖像類(lèi)別。這使圖像分析技術(shù)開(kāi)始有明顯提高。2012年，深度神經(jīng)網(wǎng)絡(luò)被成功用于ImageNet圖像分類(lèi)年度競(jìng)賽，將其性能大幅度提升，展示了深度神經(jīng)網(wǎng)絡(luò)對(duì)視覺(jué)研究的極大潛能，也激起了視覺(jué)研究的新高潮，讓人們看到了計(jì)算機(jī)視覺(jué)實(shí)用化的希望。短短幾年后的今天，深度神經(jīng)網(wǎng)絡(luò)技術(shù)發(fā)展迅速，在ImageNet圖像分類(lèi)上的性能已超過(guò)人類(lèi)，人們研究的重點(diǎn)也從圖像分類(lèi)轉(zhuǎn)移到圖像物體語(yǔ)義分割等更細(xì)更復(fù)雜的任務(wù)。在深度神經(jīng)網(wǎng)絡(luò)中，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，簡(jiǎn)稱(chēng)CNN）是參考人的視覺(jué)形成規(guī)律所構(gòu)建的，因此常常用于圖像識(shí)別。

在人工智能、機(jī)器學(xué)習(xí)、人工神經(jīng)網(wǎng)絡(luò)、深度神經(jīng)網(wǎng)絡(luò)、監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)等等概念方面，下面的圖很好的解釋了彼此之間的關(guān)系，推薦給大家。

上面是目前較常用的開(kāi)源算法。對(duì)本文來(lái)說(shuō)，我們關(guān)注的是計(jì)算機(jī)視覺(jué)的智能前端化的算法，所以我們關(guān)注最近谷歌開(kāi)源深度學(xué)習(xí)框架 TensorFlow 發(fā)布了完整的1.0版本，使得在普通智能手機(jī)上運(yùn)行機(jī)器學(xué)習(xí)，特別是深度學(xué)習(xí)程序成為可能。 我們更關(guān)注這些算法，包括深度學(xué)習(xí)的算法，在智能化前端設(shè)備上的運(yùn)行，它可能需要對(duì)算法進(jìn)行裁減，那會(huì)不會(huì)影響算法模型的收斂性、精確度、延遲等問(wèn)題，是否因?yàn)槟Ｐ偷男薷囊匦掠?xùn)練。最先進(jìn)的 DNNs 所耗費(fèi)的能量比其他形式的嵌入處理（比如視頻壓縮）要高出幾個(gè)數(shù)量級(jí)，如果運(yùn)用在嵌入式的前端，對(duì)功耗有多大程度的影響。針對(duì)特定場(chǎng)景的應(yīng)用，結(jié)合哪些硬件處理芯片和算法模型，就能很好的應(yīng)用，這些問(wèn)題，我們沒(méi)有第一手資料，所以如果大家能做分享，我們非常感興趣。

我們?cè)趯?duì)待這個(gè)領(lǐng)域的態(tài)度，一直秉持應(yīng)用為王的理念，無(wú)論是以前做工程師，現(xiàn)在看創(chuàng)業(yè)類(lèi)的項(xiàng)目，初心不改。

同時(shí)，安創(chuàng)加速器一直依托Arm生態(tài)圈，理解產(chǎn)業(yè)和技術(shù)的發(fā)展趨勢(shì)；同時(shí)，依托創(chuàng)業(yè)投資圈，理解投融資動(dòng)態(tài)；并通過(guò)自身的行業(yè)研究，加深行業(yè)的理解。

作者：馮棕煦

審核編輯 黃昊宇