AI底層生態(tài)的“國貨之光”，如何穩(wěn)穩(wěn)站在時代風(fēng)口上？

人工智能的落地問題受到普遍關(guān)注，不過，在關(guān)注商業(yè)化應(yīng)用的同時，應(yīng)用落地之前的開發(fā)與創(chuàng)新，以及為創(chuàng)新提供的基礎(chǔ)設(shè)施，更應(yīng)該受到關(guān)注，這畢竟是整個AI藍(lán)圖想象力的原點。

在AI時代的分工體系中，深度學(xué)習(xí)框架起到了承上啟下的作用，向下是芯片、大型計算機(jī)系統(tǒng)，向上是各種業(yè)務(wù)模型、行業(yè)應(yīng)用。

這也正是為什么，深度學(xué)習(xí)框架成為科技巨頭的必爭之地。對開發(fā)框架的重視，隱藏著科技企業(yè)對AI未來的押注。再放大到國際競爭的維度來看，深度學(xué)習(xí)框架的質(zhì)量和普及程度，很可能會影響到整個產(chǎn)業(yè)的進(jìn)程甚至結(jié)果。

所幸的是，已經(jīng)受夠了“缺芯之痛”的中國，在深度學(xué)習(xí)框架上起步夠早，且已達(dá)到了一定的高度。

深度學(xué)習(xí)平臺走向開源

IDC的《中國深度學(xué)習(xí)平臺市場份額調(diào)研》顯示，在AI技術(shù)使用方面，接受調(diào)研的企業(yè)和開發(fā)者中，86.2%選擇使用開源深度學(xué)習(xí)框架。

在中國深度學(xué)習(xí)平臺市場，谷歌、Facebook、百度三強鼎立態(tài)勢穩(wěn)固，三者占據(jù)了國內(nèi)超過一半的市場份額。其中，百度飛槳是市場前五中唯一的國貨。

百度自2013年就開始研發(fā)深度學(xué)習(xí)框架，當(dāng)時主要為了解決主流開發(fā)框架僅支持GPU應(yīng)用、無法進(jìn)行大規(guī)模數(shù)據(jù)處理的問題。經(jīng)過幾年內(nèi)部應(yīng)用后，2016年正式開源飛槳（PaddlePaddle）深度學(xué)習(xí)平臺。這也讓百度在當(dāng)時成為繼谷歌、Facebook、IBM之后，全球第四家、中國第一家開源深度學(xué)習(xí)開發(fā)框架的科技公司。

今年，華為MindSpore、曠視天元接連宣布開源。國內(nèi)的深度學(xué)習(xí)熱度迭起。

援引一位業(yè)內(nèi)人士的評論：只有原創(chuàng)才能引領(lǐng)，開放才能繁榮。在這場基礎(chǔ)設(shè)施爭奪中，中國產(chǎn)業(yè)壁壘的高度已和過去不再相同。

硬件+軟件，AI生態(tài)布局的全景思路

5月20日，WAVE SUMMIT2020深度學(xué)習(xí)開發(fā)者峰會上，百度飛槳聯(lián)合英特爾、英偉達(dá)、arm中國、華為、MediaTek、Imagination、寒武紀(jì)、浪潮、中科曙光等13家全球的領(lǐng)先硬件廠商，宣布啟動共建硬件生態(tài)合作圈。

在這份生態(tài)版圖中，飛槳的硬件生態(tài)伙伴層次非常分明，既有業(yè)界巨頭、老牌企業(yè)，也有國內(nèi)外新銳企業(yè)。從硬件類型來看，覆蓋CPU、GPU、新型處理器架構(gòu)、AI專用芯片以及IP?？梢哉f，是百度飛槳對AI產(chǎn)業(yè)全版圖的一次全方位包抄。這對整個AI產(chǎn)業(yè)界意味著什么？對于推進(jìn)AI在中國的商用落地又能帶來哪些幫助？

百度方面表示，隨著產(chǎn)業(yè)的加速發(fā)展，AI芯片產(chǎn)業(yè)，也出現(xiàn)了越來越多的玩家和細(xì)分領(lǐng)域。飛槳一直強調(diào)“生態(tài)”的概念，用開源的方式，可以打造一個繁榮、健康、互惠、可持續(xù)發(fā)展的生態(tài)平臺。

同時，飛槳的應(yīng)用涵蓋了幾乎所有的AI場景，飛槳的合作伙伴及其相關(guān)產(chǎn)品，既有云側(cè)、也有端側(cè)；既有訓(xùn)練、也有推理；既有傳統(tǒng)CPU芯片，也有加速芯片；既有側(cè)重語音場景的，也有側(cè)重視覺、自然語言理解場景的，這其中也包括IP廠商。


截至5月20日的數(shù)據(jù)，飛槳至今累計開發(fā)者數(shù)量194萬，服務(wù)企業(yè)數(shù)量8.4萬家，基于飛槳平臺產(chǎn)生了23.3萬模型。

作為中國首個開源開放、功能完備的產(chǎn)業(yè)級深度學(xué)習(xí)平臺，飛槳硬件生態(tài)的擴(kuò)大，意味著能夠普及到更多的開發(fā)者和企業(yè)，讓他們能夠在不必考慮底層芯片細(xì)節(jié)的前提下，直接使用，可以更多地專注在自己的業(yè)務(wù)場景本身。在完成業(yè)務(wù)模型與底層硬件之間解耦的同時，確保最大限度地釋放硬件算力。這將有助于降低技術(shù)門檻，加速推動AI的產(chǎn)業(yè)落地過程。

飛槳的新晉國產(chǎn)硬件生態(tài)伙伴

隨著數(shù)據(jù)量不斷增長、算法不斷演進(jìn)和迭代，對極致算力的需求也越來越大，而軟硬件的充分結(jié)合則顯得尤為重要。此次與飛槳完成生態(tài)拓容的，主要有如下中國硬件供應(yīng)商及其產(chǎn)品：

華為Atlas

華為Atlas與飛槳深度對接，即將在近期開放代碼。華為Atlas人工智能計算平臺基于華為昇騰系列AI處理器和業(yè)界主流異構(gòu)計算部件，通過模塊、板卡、小站、一體機(jī)等豐富的產(chǎn)品形態(tài)，打造面向“端、邊、云”的全場景AI基礎(chǔ)設(shè)施方案，可用于“平安城市、智慧交通、智慧醫(yī)療、AI推理”等領(lǐng)域。

飛騰CPU

飛騰作為國內(nèi)老牌的自主CPU芯片提供商，CPU應(yīng)用正在逐步進(jìn)入人工智能和深度學(xué)習(xí)等領(lǐng)域。此次，飛騰FT-2000+/64 處理器已經(jīng)與百度飛槳、昆侖芯片完成算力、架構(gòu)、技術(shù)三方面的適配認(rèn)證。

不僅如此，Paddle Lite 2.3.0在飛騰硬件平臺上實現(xiàn)了麒麟OS和UOS的適配?；陲w騰硬件平臺的Paddle Lite可進(jìn)行靈活的AI模型部署；在若干主流模型的推理性能上均具備高性能表現(xiàn)；可廣泛適用于智慧政務(wù)、無人車、智能家居等典型AI應(yīng)用場景。

MediaTek AI框架NeuroPilot

MediaTek的NeuroPilot人工智能通用軟件平臺，與Paddle Lite輕量化推理引擎完成適配。所有MediaTek的AI芯片APU (Artificial intelligence Processing Unit ) 都能夠使用Paddle Lite快速部署。

據(jù)了解，MediaTek彈性的AI框架NeuroPilot與百度Paddle Lite集成，實現(xiàn)端上實時智能推理的產(chǎn)品應(yīng)用。Paddle Lite運行在MediaTek APU上的效率相比于傳統(tǒng)ARM CPU性能提升6倍，功耗降低90%，便于實現(xiàn)低功耗、便攜式產(chǎn)品應(yīng)用。通過下方的系統(tǒng)架構(gòu)圖可以見到，相比于離線的工具轉(zhuǎn)換，通過Delegate的子圖直接調(diào)用，可以降低軟件時延，確保維持Paddle Lite上模型的效能。


瑞芯微AI芯片RK1808、RK1806

瑞芯微（Rockchip）AI芯片RK1808、RK1806都已適配飛槳，兼容飛槳輕量化推理引擎PaddleLite。

RK1808及RK1806，內(nèi)置獨立NPU神經(jīng)計算單元，INT8 算力達(dá)3.0TOPs；采用22nm FD-SOI工藝，相同性能下的功耗相比主流28nm工藝產(chǎn)品降低約30%，在算力、性能、功耗等指標(biāo)上均有優(yōu)異的表現(xiàn)。據(jù)瑞芯微官方數(shù)據(jù)，瑞芯微AI芯片在Paddle Lite中運行MobileNet V1耗時僅為6.5 ms，幀率達(dá)153.8 FPS，二者充分兼容并高效穩(wěn)定運行。

如下圖所示的實測結(jié)果可以看出，與手機(jī)等移動端常用的國內(nèi)外主流CPU相比，RK18系列NPU在MobileNET_v1的耗時更少，在圖像分類、目標(biāo)檢測、語音交互方面，效果更好。

據(jù)了解，除RK1808、RK1806外，瑞芯微搭載NPU的AI系列芯片將陸續(xù)升級適配百度飛槳。

寒武紀(jì)思元270、思元220

寒武紀(jì)的云端AI處理器芯片思元270，與飛槳的輕量化推理引擎Paddle Lite完成兼容性適配；思元220邊緣端芯片，也預(yù)計在近期完成適配工作。

據(jù)了解，截至目前，寒武紀(jì)與Paddle Lite的合作場景主要基于云端推理市場，但雙方基于邊緣推理市場的適配合作也正在進(jìn)行中。未來，雙方還將開展基于云端訓(xùn)練的適配合作。

比特大陸算豐系列AI芯片

百度飛槳深度學(xué)習(xí)平臺新增適配比特大陸最新算豐系列AI芯片。比特大陸已成功推出四代AI芯片：云端芯片算豐BM1680、算豐BM1682、算豐BM1684，終端芯片BM1880。

最新一代算豐BM1684芯片，聚焦于云端及邊緣應(yīng)用的人工智能推理，采用臺積電 12nm 工藝，在典型功耗16瓦的前提下，INT8 算力可達(dá)17.6Tops，在 Winograd 卷積加速下，INT8 算力提升至 35.2Tops，是一顆低功耗、高性能的 SoC 芯片。官方資料顯示，其算力性能和性能功耗比指標(biāo)超過主流推理GPU，在性能滿足視頻分析業(yè)務(wù)需求的前提下，可以實現(xiàn)視頻結(jié)構(gòu)化的單路成本優(yōu)化。

AI芯片+深度學(xué)習(xí)平臺如何把握時代契機(jī)？

兩大契機(jī)正在推動AI軟硬件技術(shù)的結(jié)盟以及開源生態(tài)的壯大。

百度CTO王海峰在WAVE SUMMIT 2020深度學(xué)習(xí)開發(fā)者峰會上說到，算法、算力及數(shù)據(jù)的持續(xù)共同進(jìn)步，使技術(shù)的應(yīng)用邊界不斷被拓展。圍繞深度學(xué)習(xí)平臺的技術(shù)和產(chǎn)業(yè)生態(tài)日漸繁榮，將有助于推動人工智能進(jìn)入工業(yè)大生產(chǎn)階段，加速各行各業(yè)智能化升級，并不斷催生新的應(yīng)用、新的產(chǎn)業(yè)。

另一方面，從市場需求及政策導(dǎo)向看，疫情帶來的遠(yuǎn)程辦公、云課堂等復(fù)工復(fù)產(chǎn)新模式，公共安全、應(yīng)急管理、城市治理等國計民生相關(guān)產(chǎn)業(yè)迫在眉睫的智能化需求，以及新基建大潮，為技術(shù)創(chuàng)新創(chuàng)造了良好的機(jī)遇。深度學(xué)習(xí)軟硬件平臺的結(jié)合，作為新型基礎(chǔ)設(shè)施的重要環(huán)節(jié)，將與云計算、5G、物聯(lián)網(wǎng)、數(shù)據(jù)中心等互相融合促進(jìn)，加速產(chǎn)業(yè)智能化進(jìn)程。

飛槳是讓深度學(xué)習(xí)的創(chuàng)新與應(yīng)用更簡單。其迭代發(fā)展主要有兩大驅(qū)動，最原生的驅(qū)動輪是產(chǎn)業(yè)實踐的需求和打磨，對應(yīng)著對性能、大規(guī)模訓(xùn)練和部署能力，相應(yīng)的特色優(yōu)勢也吸引著更多用戶的使用。此外，提升用戶體驗則是另一個重要驅(qū)動輪，需要關(guān)注用戶編程界面的優(yōu)化和基礎(chǔ)功能建設(shè)的完善，打造一個靈活易用的產(chǎn)業(yè)級深度學(xué)習(xí)框架。

新發(fā)布的全景圖包括飛槳開源深度學(xué)習(xí)平臺和飛槳企業(yè)版。飛槳開源深度學(xué)習(xí)平臺部分，包含核心框架、基礎(chǔ)模型庫、端到端開發(fā)套件與工具組件，持續(xù)開源核心能力，為產(chǎn)業(yè)、學(xué)術(shù)、科研創(chuàng)新提供基礎(chǔ)底座。同時，隨著企業(yè)應(yīng)用的需求越來越豐富和強烈，飛槳升級了產(chǎn)品架構(gòu)，推出了飛槳企業(yè)版。

由于移動端和嵌入端場景對輕量化的要求非常高，硬件芯片也更為廣泛多樣。因此在自有多硬件加速庫的基礎(chǔ)上，提供了獨立的輕量化推理引擎Paddle Lite，對端側(cè)任務(wù)提供高性能支持。同時，在算子定義和模型表達(dá)層面，和核心框架保持一致。也正是在Paddle Lite下，實現(xiàn)了對國產(chǎn)AI芯片最全面的支持。

AI芯片的持續(xù)爆發(fā)，仍在引發(fā)與其適配優(yōu)化的編譯器需求，以及與Inference框架內(nèi)應(yīng)用整合的需求，標(biāo)準(zhǔn)化和體系化將是未來的主要方向：

一方面，需要建立行業(yè)統(tǒng)一標(biāo)準(zhǔn)，例如在深度學(xué)習(xí)框架、軟硬適配接口、整機(jī)系統(tǒng)集成等領(lǐng)域推動統(tǒng)一的行業(yè)標(biāo)準(zhǔn)，促進(jìn)行業(yè)規(guī)?；瘧?yīng)用；

另一方面，需要加快軟硬一體適配，以滿足視覺、自然語言處理、語音等典型AI應(yīng)用場景的需要，加速推進(jìn)深度學(xué)習(xí)平臺在訓(xùn)練、預(yù)測等功能與芯片、整機(jī)等智能硬件平臺廠商適配融合；此外，通過建設(shè)和完善深度學(xué)習(xí)與人工智能行業(yè)應(yīng)用生態(tài)的運行機(jī)制，共同推動應(yīng)用普及等等，都是飛槳生態(tài)下一步非常重要的方向。

當(dāng)然，要被更多開發(fā)者認(rèn)可，還需要繼續(xù)緊貼用戶需求打磨，擴(kuò)大上下游生態(tài)，進(jìn)而才能建立具備高度壁壘的綜合競爭力。

本文由電子發(fā)燒友網(wǎng)原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。如需轉(zhuǎn)載，請?zhí)砑游?a target="_blank">信號elecfans999.