通過(guò)嵌入式AI解決方案來(lái)深挖終端計(jì)算性能

把人工智能做到終端上去已成為物聯(lián)網(wǎng)時(shí)代發(fā)展的一個(gè)趨勢(shì)，在智能終端設(shè)備上，深度學(xué)習(xí)帶來(lái)了前所未有的交互體驗(yàn)變革，同時(shí)也對(duì)計(jì)算力有了更高的要求。

在諸多實(shí)際的AI商用場(chǎng)景中，普遍對(duì)數(shù)據(jù)處理的實(shí)時(shí)性和速度要求都比較高，不可能所有數(shù)據(jù)都上傳到云端跑一遍，因此目前市場(chǎng)上有從專(zhuān)用嵌入式AI芯片入手來(lái)解決終端計(jì)算能力問(wèn)題的，也有的廠商致力于最大化挖掘終端的計(jì)算性能進(jìn)而實(shí)現(xiàn)事半功倍的計(jì)算效果。

如果不是開(kāi)發(fā)者，可能不太清楚OpenBLAS的價(jià)值所在，OpenBLAS支持幾乎全部的主流CPU處理器和常見(jiàn)的操作系統(tǒng)，同時(shí)都能達(dá)到比較好的性能優(yōu)化，進(jìn)入了很多主流的Linux安裝包，其用戶(hù)廣泛，從開(kāi)源項(xiàng)目Julia語(yǔ)言、GNU octave，到深度學(xué)習(xí)的mxnet、Caffe，乃至IBM、ARM、英偉達(dá)等公司也都在他們的產(chǎn)品里邊使用了OpenBLAS。

2014年底張先軼離開(kāi)中科院去了美國(guó)，先后在UT Austin做研究員以及MIT博士后等科研工作經(jīng)歷，輾轉(zhuǎn)兩所知名高校探索最新的技術(shù)方向，彼時(shí)，深度學(xué)習(xí)和人工智能逐漸興起，在大洋彼岸的中國(guó)，更是掀起了一場(chǎng)前所未有的技術(shù)變革浪潮。

“在MIT的經(jīng)歷對(duì)于我創(chuàng)業(yè)來(lái)說(shuō)比較關(guān)鍵，那里的創(chuàng)業(yè)氛圍非常好，各種創(chuàng)業(yè)比賽比較多，還有一個(gè)中國(guó)留學(xué)生的創(chuàng)業(yè)論壇。”通過(guò)一些沙龍和組織活動(dòng)，張先軼結(jié)識(shí)了很多一線創(chuàng)業(yè)者汲取創(chuàng)業(yè)經(jīng)驗(yàn)和幫助，正在猶豫接下來(lái)是留美工作還是回國(guó)的節(jié)點(diǎn)上，他最終作出了回國(guó)創(chuàng)業(yè)的決定。

2016年下半年澎峰科技注冊(cè)成立，交接完工作的張先軼年底回國(guó)開(kāi)始組建自己的團(tuán)隊(duì)，除了自己比較擅長(zhǎng)的底層算法框架，團(tuán)隊(duì)也強(qiáng)化了軟硬件基因，中科院背景的賈海鵬博士加入負(fù)責(zé)軟件研發(fā)進(jìn)展，華中科技大學(xué)趙華龍博士負(fù)責(zé)硬件產(chǎn)品集成。

在框架層，澎峰科技開(kāi)源了一種輕量級(jí)的深度學(xué)習(xí)推理框架inferXlite，相比較目前的傳統(tǒng)通用框架具備小、輕、快的優(yōu)勢(shì)，代碼<100k，接口支持任何網(wǎng)絡(luò)模型，可移植任何硬件平臺(tái)，幾乎沒(méi)有依賴(lài)庫(kù)，框架設(shè)計(jì)與性能加速分離，從框架層面對(duì)于算法加速給予了充分的考量。

為何要把這么一套框架做開(kāi)源？張先軼有自己的考慮：“其實(shí)還是想進(jìn)一步建立我們技術(shù)的美譽(yù)度，然后吸引更多開(kāi)發(fā)者來(lái)用我們的東西，對(duì)于公司長(zhǎng)遠(yuǎn)的發(fā)展這是一個(gè)比較好的做法。作為我們這樣的技術(shù)公司直接去推和銷(xiāo)售不一定能做的多么廣，而由開(kāi)發(fā)者實(shí)際體驗(yàn)后對(duì)未來(lái)的商業(yè)轉(zhuǎn)化更有益處，另外，直白點(diǎn)說(shuō)，也能顯示我們做的技術(shù)比較牛?！?/p>

在性能層，澎峰科技推出了三款產(chǎn)品：深度學(xué)習(xí)優(yōu)化矩陣計(jì)算庫(kù)PerfBLAS、深度神經(jīng)網(wǎng)絡(luò)計(jì)算庫(kù)PerfDNN、以及高性能計(jì)算機(jī)視覺(jué)庫(kù)PerfCV。PerfBLAS針對(duì)ARM等嵌入式平臺(tái)進(jìn)行深度學(xué)習(xí)卷積算法優(yōu)化，可廣泛用于移動(dòng)平臺(tái)，手機(jī)、機(jī)器人、無(wú)人機(jī)等領(lǐng)域。PerfDNN是一個(gè)跨平臺(tái)的輕量級(jí)深度學(xué)習(xí)算法庫(kù)，實(shí)現(xiàn)了深度神經(jīng)網(wǎng)絡(luò)的核心算法；PerfCV是一個(gè)跨平臺(tái)高性能計(jì)算機(jī)視覺(jué)庫(kù)，實(shí)現(xiàn)了深度學(xué)習(xí)中主要的圖像預(yù)處理算法，包括cvtColor、resize、warm_affine、warm_perspective等，PerfCV可在GPU、x86、ARM等多個(gè)硬件平臺(tái)上實(shí)現(xiàn)高性能。

基于核心的軟件框架和多種計(jì)算庫(kù)，澎峰科技得以集成出一體化的硬件產(chǎn)品：嵌入式深度學(xué)習(xí)開(kāi)發(fā)平臺(tái)PerfBox和Perf-V工程板。據(jù)了解，PerfBOX采用六核64位ARM處理器，集成了ARM Mali-T860四核GPU，并擁有2GB/4GB DDR3和16G/32GB的eMMC，可用來(lái)做為學(xué)習(xí)、開(kāi)發(fā)、部署深度學(xué)習(xí)應(yīng)用的平臺(tái)。Perf-V工程板則是澎峰科技為RISC-V開(kāi)源社區(qū)設(shè)計(jì)的FPGA開(kāi)發(fā)板，具備很強(qiáng)的靈活性，移植了多種RISC-V處理器架構(gòu)，并配備豐富的學(xué)習(xí)資料，為RISC-V處理器設(shè)計(jì)和FPGA產(chǎn)品開(kāi)發(fā)提供了一個(gè)很好的實(shí)驗(yàn)平臺(tái)。

據(jù)了解，澎峰科技的目標(biāo)客戶(hù)群體，大概分為兩種類(lèi)別，但可以確定是終端為主，偏視覺(jué)計(jì)算處理的方向，因?yàn)橛?jì)算機(jī)視覺(jué)領(lǐng)域?qū)τ?jì)算性能的需求更為強(qiáng)烈。一類(lèi)客戶(hù)是移動(dòng)APP類(lèi)應(yīng)用，澎峰科技可以提供整套優(yōu)化技術(shù)的軟件包SDK給客戶(hù)嵌入到APP中，這部分主要是以提供軟件服務(wù)為主；另一方面就是提供PerfBox硬件產(chǎn)品和Perf-V工程板，會(huì)面向智能硬件和智能終端設(shè)備的廠商，根據(jù)具體需求做靈活配置比如存儲(chǔ)、內(nèi)存、芯片的選型等，軟硬優(yōu)勢(shì)互補(bǔ)從整體考量上提供高性?xún)r(jià)比的嵌入式方案。