開(kāi)放智能:聚焦邊緣端部署痛點(diǎn),推出邊緣AI推理框架Tengine

隨著越來(lái)越多的物聯(lián)網(wǎng)終端設(shè)備在各個(gè)行業(yè)加速部署，邊緣計(jì)算的重要性日益凸顯，AI算法也正在逐步從云端下沉到邊緣節(jié)點(diǎn)中去運(yùn)行。據(jù)IDC預(yù)計(jì)，到2025年，全球?qū)⒂?500億個(gè)終端設(shè)備接入網(wǎng)絡(luò)，其中超過(guò)70%的數(shù)據(jù)將在網(wǎng)絡(luò)邊緣側(cè)被結(jié)構(gòu)化處理。

36氪近期接觸到的OPEN AI LAB（開(kāi)放智能）成立于2016年，專注邊緣智能計(jì)算及應(yīng)用，提供邊緣AI推理框架Tengine和AI應(yīng)用開(kāi)發(fā)及部署平臺(tái)OmniMaster等軟件產(chǎn)品，并以此為基礎(chǔ)，為行業(yè)客戶提供完整軟硬件解決方案，加速AI產(chǎn)業(yè)化部署。

聚焦邊緣端部署痛點(diǎn)，推出邊緣AI推理框架Tengine

由于邊緣計(jì)算相較于過(guò)去單純的云計(jì)算來(lái)說(shuō)成本低、實(shí)時(shí)性好，大量邊緣計(jì)算節(jié)點(diǎn)開(kāi)始部署，邊緣節(jié)點(diǎn)也在逐步實(shí)現(xiàn)智能化。但在推進(jìn)過(guò)程中，AI算法模型從云端到邊緣端的遷移部署環(huán)節(jié)過(guò)程繁雜，痛點(diǎn)具體表現(xiàn)為：

芯片及硬件多樣性使得前端適配兼容問(wèn)題凸顯：由于對(duì)性能、接口、功耗、價(jià)格、可靠性、環(huán)境適應(yīng)性等因素的要求千差萬(wàn)別，大量AI芯片及硬件開(kāi)始涌現(xiàn)，特別是NPU及RISC-V架構(gòu)的推進(jìn)，生態(tài)日益碎片化，但目前缺乏合適的中間層和計(jì)算庫(kù)及統(tǒng)一的平臺(tái)和穩(wěn)定接口，使得跨硬件向上兼容成為難點(diǎn)；

軟件層面的訓(xùn)練框架多樣性使得模型遷移效率問(wèn)題顯現(xiàn)：在把云端上訓(xùn)練好的AI算法模型遷移到算力有限的前端硬件過(guò)程中，算法開(kāi)發(fā)人員需要做大量模型量化、優(yōu)化甚至算子層面的調(diào)整工作，過(guò)程繁雜，更非其擅長(zhǎng)的領(lǐng)域。

這些問(wèn)題一方面使得芯片公司不僅需要在硬件層面提升算力，還需要向上延伸提供各種配套AI應(yīng)用開(kāi)發(fā)的SDK工具，幫助AI算法開(kāi)發(fā)者有效利用芯片的算力，另一方面導(dǎo)致算法公司為了避免云端模型遷移到前端出現(xiàn)性能差、精度低的問(wèn)題，需要花費(fèi)大量成本投入到邊緣側(cè)底層的適配優(yōu)化中去。

于是大量AI科技初創(chuàng)公司在尋找到算法應(yīng)用場(chǎng)景后做全棧工程化，包含了底層芯片及硬件的選型甚至自研，數(shù)據(jù)采集、算法訓(xùn)練、優(yōu)化、部署，甚至業(yè)務(wù)SaaS開(kāi)發(fā)，從芯片到云，形成煙囪式的垂直化，這種模式兼容性差、開(kāi)發(fā)成本高。

因此從行業(yè)整體上來(lái)看，問(wèn)題就體現(xiàn)為產(chǎn)業(yè)鏈分工并不清晰。解決好這一行業(yè)痛點(diǎn)是實(shí)現(xiàn)AI在各行業(yè)規(guī)模應(yīng)用的關(guān)鍵突破口。由此可見(jiàn)，邊緣AI計(jì)算產(chǎn)業(yè)鏈亟需可將算法和芯片連接、開(kāi)放兼容的中間件，以細(xì)化行業(yè)分工程度。

基于此，OPEN AI LAB自2017年開(kāi)始設(shè)計(jì)開(kāi)發(fā)邊緣AI計(jì)算框架Tengine，并對(duì)Tengine進(jìn)行了項(xiàng)目開(kāi)源，其GitHub Star 已超過(guò)4300枚，目前也面向企業(yè)客戶提供商業(yè)化的Tengine產(chǎn)品及服務(wù)。

目前Tengine向下兼容幾乎所有主流國(guó)產(chǎn)智能芯片，向上支撐主流訓(xùn)練框架及網(wǎng)絡(luò)模型。Tengine在產(chǎn)品架構(gòu)上主要具有以下特點(diǎn)：

算力兼容：跨芯片統(tǒng)一API接口，解決應(yīng)用程序在不同開(kāi)發(fā)平臺(tái)上切換底層硬件接口的問(wèn)題，用戶使用Tengine可同時(shí)調(diào)用CPU、NPU、GPU等不同計(jì)算單元來(lái)完成AI異構(gòu)計(jì)算。

框架兼容：Tengine兼容支持TensorFlow、Caffe、MXNet 、PyTorch、ONNX等業(yè)內(nèi)主流框架。實(shí)際開(kāi)發(fā)過(guò)程中，Tengine會(huì)將其訓(xùn)練框架轉(zhuǎn)換為適配底層的Tengine模型，降低不同訓(xùn)練框架在面對(duì)不同硬件及場(chǎng)景的遷移成本。

遷移加速：針對(duì)AIoT應(yīng)用開(kāi)發(fā)流程中的算法量化重訓(xùn)練及前處理、后處理等繁瑣環(huán)節(jié)，Tengine配置了相應(yīng)的圖編譯、圖優(yōu)化、模型量化、精度調(diào)優(yōu)及算法庫(kù)等一系列工具包，簡(jiǎn)化和加速AI算法從云端到嵌入式邊緣設(shè)備的遷移過(guò)程。

OPEN AI LAB創(chuàng)始人兼CEO金勇斌向36氪表示，Tengine之于AIoT，猶如Android之于移動(dòng)互聯(lián)網(wǎng)。Tengine使得上層應(yīng)用程序與底層硬件基于中間的開(kāi)發(fā)平臺(tái)實(shí)現(xiàn)適配兼容，從此，開(kāi)發(fā)算法應(yīng)用不需要再關(guān)心底層芯片，如同開(kāi)發(fā)App可以不必關(guān)心APP將在哪款手機(jī)上運(yùn)行。

OmniMaster：降低開(kāi)發(fā)門(mén)檻，幫助企業(yè)實(shí)現(xiàn)AI算法的云端訓(xùn)練及邊緣部署

AI算法邊緣端部署痛點(diǎn)通過(guò)Tengine得以解決，但在算法模型在部署到前端之前，一方面先要在服務(wù)器端完成數(shù)據(jù)標(biāo)注清洗、模型訓(xùn)練、針對(duì)邊緣節(jié)點(diǎn)上的芯片做精度量化優(yōu)化、性能評(píng)測(cè)等一系列流程后，再將算法向前端邊緣設(shè)備部署。

另一方面，算法的訓(xùn)練數(shù)據(jù)通常分布在私有化業(yè)務(wù)場(chǎng)景中，終端企業(yè)客戶希望保證數(shù)據(jù)的私密性和安全性，而終端企業(yè)客戶又往往不具備相應(yīng)的技術(shù)開(kāi)發(fā)能力，所以AI算法應(yīng)用推進(jìn)較為緩慢，成本較高。

基于此，公司進(jìn)一步推出了AI應(yīng)用開(kāi)發(fā)及部署平臺(tái)OmniMaster，OmniMaster可作為自動(dòng)化工具幫助客戶實(shí)現(xiàn)場(chǎng)景確認(rèn)、數(shù)據(jù)清洗標(biāo)注、模型訓(xùn)練、量化優(yōu)化、邊緣部署等開(kāi)發(fā)環(huán)節(jié)，幫助AI技術(shù)基礎(chǔ)薄弱的企業(yè)快速實(shí)現(xiàn)AI場(chǎng)景應(yīng)用，為企業(yè)節(jié)省開(kāi)發(fā)成本，提高開(kāi)發(fā)效率，方便企業(yè)將算法模型從云端部署至邊緣端。

如此一來(lái)，企業(yè)的基于Tengine的邊緣節(jié)點(diǎn)可像手機(jī)上安裝、升級(jí)App一樣不斷后裝第三方算法，算法運(yùn)行后與OmniMaster聯(lián)動(dòng)基于現(xiàn)場(chǎng)數(shù)據(jù)迭代學(xué)習(xí)、持續(xù)提升精度。

舉例來(lái)說(shuō)，過(guò)去設(shè)備制造與方案商陸續(xù)將人臉、車(chē)牌等目標(biāo)類(lèi)別相對(duì)固定的算法固化到IPC（網(wǎng)絡(luò)攝像機(jī)）或邊緣盒子中，實(shí)現(xiàn)硬件與軟件一體化。這種事先預(yù)置固化算法的方式很難實(shí)現(xiàn)算法的快速升級(jí)，而部署Tengine的邊緣節(jié)點(diǎn)則可以更加靈活地配置、升級(jí)算法。

與芯片廠商、集成商等深度合作，加速業(yè)務(wù)在多行業(yè)落地

公司基于開(kāi)放的邊緣AI計(jì)算框架Tengine建立廣泛的合作伙伴及開(kāi)發(fā)者生態(tài)，以AI應(yīng)用開(kāi)發(fā)及部署平臺(tái)OmniMaster幫助行業(yè)客戶加速AI應(yīng)用。

目前，已有近30家智能芯片廠商與OPEN AI LAB在Tengine上深度合作，包括紫光展銳、晶晨半導(dǎo)體、瑞芯微、全志科技、地平線、寒武紀(jì)、飛騰、龍芯、恒玄、賽昉科技、芯來(lái)科技、芯馳等等，實(shí)現(xiàn)在Arm， MIPS， RISC-V等各類(lèi)CPU及NPU上對(duì)上層算法的兼容。計(jì)算機(jī)視覺(jué)上，Tengine支持Yolo等多種網(wǎng)絡(luò)模型的各種版本，也與OpenCV社區(qū)形成戰(zhàn)略合作關(guān)系。

商業(yè)模式方面，目前Tengine和OmniMaster主要以軟件授權(quán)或訂閱模式向芯片公司、集成商或終端客戶收取服務(wù)費(fèi)，交付內(nèi)容基于客戶需求可包含工具、源碼及商業(yè)服務(wù)。

公司已經(jīng)在交通、能源、農(nóng)牧、制造、家居等多個(gè)行業(yè)領(lǐng)域形成完整解決方案。例如交通出行領(lǐng)域，車(chē)輛配備的DMS需要通過(guò)攝像頭獲取車(chē)內(nèi)和車(chē)外的視覺(jué)數(shù)據(jù)，實(shí)時(shí)監(jiān)控駕駛員和乘客的狀態(tài)，并識(shí)別是否有闖紅燈、壓線等違章行為。為了實(shí)現(xiàn)智能化識(shí)別，讓各類(lèi)AI算法實(shí)時(shí)運(yùn)行在低功耗AI算力有限的車(chē)載DMS（Driver Monitor System，駕駛員監(jiān)控系統(tǒng)）盒子上，并實(shí)現(xiàn)跑得上（兼容性高）、跑得動(dòng)（實(shí)時(shí)性好）、跑得準(zhǔn)（精度損失小），某出行服務(wù)企業(yè)選用Tengine作為DMS的底層框架，兼容多種芯片，性能方面平均提升50%以上，部分硬件的能效比提升100%以上。

智能穿戴和家居領(lǐng)域，基于Tengine加速的本地命令字識(shí)別算法可在極小的微控制器（MCU）上運(yùn)行，客戶可以通過(guò)OmniMaster基于自身需求采集針對(duì)性的語(yǔ)音數(shù)據(jù)、自動(dòng)化訓(xùn)練，一鍵下發(fā)，快速賦予MCU以差異化語(yǔ)音命令功能，部分智能家電品牌企業(yè)正基于此技術(shù)將本地語(yǔ)音命令應(yīng)用在智能穿戴、智能家居、陪伴玩具等產(chǎn)品上。

業(yè)務(wù)落地方面，針對(duì)能源、農(nóng)牧、制造等領(lǐng)域的頭部客戶，OPEN AI LAB通常與其系統(tǒng)集成商合作，為企業(yè)客戶提供包括前端邊緣智能化升級(jí)改造、Tengine和OmniMaster邊、云聯(lián)動(dòng)的私有化部署解決方案，幫助企業(yè)在生產(chǎn)安全、質(zhì)量監(jiān)控等方面快速實(shí)現(xiàn)智能化，提高生產(chǎn)效率。例如在鋼鐵冶金行業(yè)，基于Tengine的邊緣AI服務(wù)器實(shí)現(xiàn)對(duì)鋼包的紅外熱成像檢測(cè)、潔凈度判斷，和對(duì)天車(chē)掛鉤進(jìn)行監(jiān)測(cè)以及對(duì)鑄坯缺陷識(shí)別等。

此外，為了讓未來(lái)的AI開(kāi)發(fā)者通過(guò)使用Tengine/OmniMaster，學(xué)習(xí)、理解、掌握計(jì)算機(jī)視覺(jué)與語(yǔ)音識(shí)別技術(shù)的開(kāi)發(fā)和應(yīng)用創(chuàng)新，OPEN AI LAB還向教育行業(yè)推出了EAIP（Edge AI Innovation Platform），EAIP將行業(yè)真實(shí)案例引入教學(xué)，學(xué)生通過(guò)EAIP理解與掌握行業(yè)+AI應(yīng)用實(shí)踐。

談及AI在各行業(yè)的應(yīng)用，金勇斌表示，從2018年開(kāi)始，他和團(tuán)隊(duì)跑過(guò)油田、下過(guò)鋼廠、蹲過(guò)豬圈、飄過(guò)海洋，去過(guò)的現(xiàn)場(chǎng)越多，越覺(jué)得AI需要“接地氣”，產(chǎn)業(yè)鏈必須要有更加清晰的分工，通過(guò)上下游分工協(xié)作來(lái)滿足客戶的多樣性需求，而不是家家都要成為華為或Nvidia。

OPEN AI LAB聚焦邊緣AI計(jì)算框架與AI應(yīng)用開(kāi)發(fā)與部署平臺(tái)，將與上下游的芯片、算法、方案、系統(tǒng)集成與部署的伙伴一起構(gòu)建良好的產(chǎn)業(yè)生態(tài)。

發(fā)展規(guī)劃

OPEN AI LAB目前有100余人，70%以上為產(chǎn)品研發(fā)人員，公司創(chuàng)始人兼CEO金勇斌曾任Arm中國(guó)市場(chǎng)營(yíng)銷(xiāo)與生態(tài)發(fā)展副總裁，擁有近20年邊緣計(jì)算軟、硬件技術(shù)與產(chǎn)品研發(fā)、產(chǎn)品管理、市場(chǎng)營(yíng)銷(xiāo)、大客戶銷(xiāo)售、新業(yè)務(wù)拓展經(jīng)驗(yàn)。團(tuán)隊(duì)核心成員來(lái)自Arm、Broadcom、華為、中興等芯片與系統(tǒng)公司。

公司曾相繼獲得普華資本、耀圖資本、紅杉資本、晨山資本的投資。目前正致力于進(jìn)一步加強(qiáng)開(kāi)源生態(tài)建設(shè)，完善產(chǎn)品研發(fā)，拓展方案伙伴及行業(yè)落地。
責(zé)任編輯:tzh