解密最熱AI“芯”話題 2019全球人工智能應(yīng)用創(chuàng)新峰會(huì)在深圳舉行

2019年4月9日，第二屆全球人工智能應(yīng)用創(chuàng)新峰會(huì)在深圳五洲賓館舉行，這場(chǎng)由深圳市科學(xué)技術(shù)協(xié)會(huì)、福田區(qū)科技創(chuàng)新局主辦，鯤云科技、鯤云人工智能應(yīng)用創(chuàng)新研究院和源創(chuàng)力創(chuàng)新中心承辦的AI開年盛會(huì)上，鯤云科技發(fā)布全球第一款基于數(shù)據(jù)流技術(shù)打造的通用人工智能底層架構(gòu)-定制數(shù)據(jù)流CAISA架構(gòu)和端到端自動(dòng)編譯工具鏈RainBuilder，實(shí)現(xiàn)了國(guó)內(nèi)完全自主產(chǎn)權(quán)的AI芯片架構(gòu)，有效計(jì)算效率大幅領(lǐng)先國(guó)際水平，為人工智能算法的快速應(yīng)用落地提供高性能算力支撐，推動(dòng)我國(guó)人工智能芯片領(lǐng)域的技術(shù)革新和發(fā)展。

深圳市人大常委會(huì)副主任、深圳市科協(xié)主席蔣宇揚(yáng)，深圳市福田區(qū)委常委、副區(qū)長(zhǎng)黃偉，深圳市源創(chuàng)力離岸創(chuàng)新中心總裁周路明，深圳市科協(xié)秘書長(zhǎng)、辦公室主任林肇武，深圳市福田區(qū)科技創(chuàng)新局、發(fā)展和改革局和工業(yè)和信息化局等單位負(fù)責(zé)同志出席峰會(huì)。

蔣宇揚(yáng)主席致辭

黃偉副區(qū)長(zhǎng)致辭

打破摩爾定律局限，鯤云發(fā)布全球首款通用底層AI架構(gòu)-定制數(shù)據(jù)流CAISA架構(gòu)

牛昕宇博士

作為本次峰會(huì)的重頭戲，鯤云科技創(chuàng)始人&CEO牛昕宇博士在會(huì)上發(fā)布了定制數(shù)據(jù)流CAISA2.0架構(gòu)。依托創(chuàng)始團(tuán)隊(duì)在數(shù)據(jù)流架構(gòu)領(lǐng)域近三十年的積累，鯤云的CAISA架構(gòu)拋棄了傳統(tǒng)基于指令集的架構(gòu)方式，是全球第一款基于數(shù)據(jù)流技術(shù)打造的通用人工智能底層架構(gòu)，可發(fā)揮90%以上的芯片峰值計(jì)算性能，大幅領(lǐng)先國(guó)際主流AI芯片。同時(shí)，鯤云還在會(huì)上發(fā)布了針對(duì)數(shù)據(jù)流架構(gòu)定制開發(fā)的RainBuilder編譯工具鏈，CAISA2.0架構(gòu)可支持Tensorflow，Caffe等開源框架下開發(fā)的主流深度學(xué)習(xí)算法的無縫遷移，無需用戶進(jìn)行面向CAISA架構(gòu)的編程?；贏rria10 SX160、SX660、GX1150，Straix10 GX2800系列的FPGA加速卡已完成開發(fā)并應(yīng)用于產(chǎn)品落地中。

（定制數(shù)據(jù)流CAISA2.0架構(gòu)）

隨著人工智能技術(shù)的深入發(fā)展，對(duì)人工智能芯片的算力提出了更高的要求，算力成為了決定算法落地的重中之重。尤其是在云計(jì)算、自動(dòng)駕駛、安防工業(yè)等領(lǐng)域，算力的提升更是能夠直接帶來更多的用戶量、更多的前端設(shè)備智能升級(jí)和更安全的自動(dòng)駕駛汽車。正如圖靈獎(jiǎng)得主John Hennessey和 David Patterson在圖靈獎(jiǎng)?lì)C獎(jiǎng)典禮所言，未來十年，隨著摩爾定律逐步飽和，人工智能芯片的峰值算力將逐步趨近飽和，而架構(gòu)效率將成為芯片性能的決定因素，未來十年將是計(jì)算架構(gòu)的“黃金十年”。鯤云科技自主研發(fā)的CAISA2.0架構(gòu)以及RainBuilder編譯工具鏈，沒有采用主流計(jì)算機(jī)架構(gòu)下大規(guī)模并行指令集設(shè)計(jì)的思路，通過完全不同的數(shù)據(jù)流架構(gòu)突破底層架構(gòu)的效率瓶頸，最大化發(fā)揮底層硬件的效率，在同等峰值芯片性能情況下可以為人工智能應(yīng)用提供更高的算力支撐。

打造最好用的AI芯片編譯工具，CAISA架構(gòu)的端到端自動(dòng)編譯工具鏈RainBuilder面世，讓人工智能更簡(jiǎn)單

要實(shí)現(xiàn)更快的AI應(yīng)用落地，滿足不同算法開發(fā)的需求，需要一個(gè)可以兼容各類算法框架和方便快捷實(shí)現(xiàn)算法到硬件寫入的編譯工具。為了降低使用門檻，鯤云發(fā)布了端到端自動(dòng)編譯工具鏈RainBuilder，它是一款針對(duì)深度學(xué)習(xí)算法優(yōu)化加速的開發(fā)工具鏈。依托于CAISA架構(gòu)的高性能特性，RainBuilder提供從算法模型到芯片級(jí)算法部署的一整套開發(fā)套件。該套件主要由Compiler和Runtime兩部分組成，其中Compiler包含了一系列命令行接口，支持主流AI開發(fā)框架模型的解析和優(yōu)化，并將模型轉(zhuǎn)化為適用于CAISA架構(gòu)的中間表達(dá)和數(shù)據(jù)。Runtime以Compiler生成的中間表達(dá)和數(shù)據(jù)為輸入，為用戶提供了豐富易用的開發(fā)接口以完成對(duì)底層AI芯片硬件的高效應(yīng)用。

（RainBuilder端到端自動(dòng)編譯工具鏈）

RainBuilder使用過程非常簡(jiǎn)單便捷，用戶無需對(duì)于底層硬件有深入的了解，即可快速開發(fā)適用于AI專用芯片的算法方案。從訓(xùn)練好的模型文件，只需兩步，即可實(shí)現(xiàn)整個(gè)神經(jīng)網(wǎng)絡(luò)的推演。第一步，調(diào)用Compiler的命令行接口完成模型的離線準(zhǔn)備，對(duì)于一個(gè)模型，該步驟只需進(jìn)行一次。Compiler提供了一套端到端的優(yōu)化流程，包括模型解析、冗余節(jié)點(diǎn)裁剪、節(jié)點(diǎn)融合、模型量化壓縮等。第二步，用戶只需編寫針對(duì)特定算法的前后處理函數(shù)，Runtime會(huì)自動(dòng)完成算法模型對(duì)于CAISA架構(gòu)的高效調(diào)用。Runtime中包含了大量針對(duì)CAISA架構(gòu)的深層優(yōu)化，如硬件資源調(diào)配、運(yùn)行時(shí)資源調(diào)度、軟硬件并行、異常處理等。另外，RainBuilder通過支持用戶自定義算子實(shí)現(xiàn)了對(duì)于不同算法的高拓展性。用戶只需根據(jù)提供的接口即可完成自定義模塊的實(shí)現(xiàn)，RainBuilder會(huì)自動(dòng)將自定義算子整合進(jìn)計(jì)算圖中，并針對(duì)其特點(diǎn)完成相應(yīng)的計(jì)算優(yōu)化。

提供下一代人工智能計(jì)算平臺(tái)，鯤云公布基于CAISA架構(gòu)的系列AI產(chǎn)品，鯤云高性能AI芯片切入工業(yè)市場(chǎng)

會(huì)上，鯤云還公布了基于CAISA架構(gòu)的一系列產(chǎn)品，包括針對(duì)前端和邊緣計(jì)算的“雨人”AI芯片加速卡3代和應(yīng)用于NVR和服務(wù)器的“星空”AI加速卡2代，目前已經(jīng)在電力、安防、工業(yè)等領(lǐng)域?qū)崿F(xiàn)了規(guī)模落地。同合作伙伴聯(lián)合開發(fā)的搭載雨人加速卡的AI攝像頭、智能無人機(jī)、智能ops系統(tǒng)盒子，搭載星空加速卡的兩款A(yù)I服務(wù)器也同時(shí)披露。

（雨人加速卡3代）

“雨人”加速卡可嵌入前端IoTs設(shè)備，提供深度學(xué)習(xí)目標(biāo)定位、去重一體化前端方案，支持1080p高清實(shí)時(shí)視頻對(duì)于60x60像素特定目標(biāo)全檢測(cè)，具有50幀/秒的處理能力。

（星空加速卡2代）

“星空”加速卡嵌入小型主機(jī)和服務(wù)器設(shè)備，即插即用，可同時(shí)支持16路1080p視頻中對(duì)最小60×60像素的特定目標(biāo)全檢測(cè)及視頻結(jié)構(gòu)化分析，實(shí)現(xiàn)1080P高清實(shí)時(shí)視頻200-800幀/秒的檢測(cè)性能，延時(shí)低至5毫秒，實(shí)測(cè)性能達(dá)理論峰值的90%。充分體現(xiàn)了自主研發(fā)的定制數(shù)據(jù)流CAISA架構(gòu)芯片高性能、低功耗、低延時(shí)的特性，最大化資源能效比。可為安防行業(yè)中交通、商場(chǎng)和住宅等場(chǎng)景數(shù)字安全監(jiān)控及行人、車輛、路況等提供深度學(xué)習(xí)目標(biāo)定位、去重、識(shí)別、屬性分析一體化的邊緣后端人工智能加速方案。

鯤云高校計(jì)劃發(fā)布，聯(lián)合高校開展人工智能教學(xué)科研合作

為滿足高校日益增長(zhǎng)的在人工智能領(lǐng)域教學(xué)培訓(xùn)、科研平臺(tái)方面的需求，鯤云科技結(jié)合自身在人工智能芯片、開發(fā)平臺(tái)和垂直領(lǐng)域解決方案等方向的研發(fā)和技術(shù)優(yōu)勢(shì)，以及與市場(chǎng)端廣泛的互動(dòng)關(guān)系，由鯤云人工智能應(yīng)用創(chuàng)新研究院發(fā)起，鯤云正式發(fā)布鯤云高校計(jì)劃CUP (Corerain University Program)，與全球高校在人工智能課程、科研合作和國(guó)際交流等領(lǐng)域?qū)崿F(xiàn)深度合作。

在課程方面，鯤云提供基于CAISA架構(gòu)FPGA加速卡的人工智能課程及實(shí)驗(yàn)內(nèi)容，支持高校相關(guān)課程升級(jí)；在科研方面，鯤云支持高?；贑AISA架構(gòu)運(yùn)行最新人工智能算法，以及圍繞CAISA架構(gòu)拓展硬件平臺(tái)；在國(guó)際合作領(lǐng)域，鯤云提供人工智能峰會(huì)、人工智能硬件加速暑期峰會(huì)等國(guó)際交流平臺(tái)，全方位支持與高校在AI領(lǐng)域的合作，加速最新AI技術(shù)的產(chǎn)學(xué)研合作。

2019年2 月24日，鯤云高校計(jì)劃啟動(dòng)，聯(lián)手英特爾開展的基于Intel? FPGA的人工智能芯片應(yīng)用設(shè)計(jì)培訓(xùn)的交流活動(dòng)完美落幕，來自清華大學(xué)、武漢大學(xué)、華中科技大學(xué)、山東大學(xué)、天津大學(xué)、重慶大學(xué)、電子科技大學(xué)等近30所高校的40余位老師參加。除與Intel合作進(jìn)行人工智能課程培訓(xùn)外，鯤云人工智能應(yīng)用創(chuàng)新研究院已同帝國(guó)理工學(xué)院、哈爾濱工業(yè)大學(xué)、天津大學(xué)等成立聯(lián)合實(shí)驗(yàn)室，在定制計(jì)算、AI芯片安全、工業(yè)智能等領(lǐng)域開展前沿研究合作。

高端會(huì)晤，國(guó)際AI領(lǐng)域權(quán)威分享人工智能前沿技術(shù)突破

作為年度重量級(jí)AI峰會(huì)，此次活動(dòng)匯聚了政府領(lǐng)導(dǎo)、全球人工智能領(lǐng)域頂尖學(xué)術(shù)大師、世界頂級(jí)科技企業(yè)、互聯(lián)網(wǎng)巨頭，產(chǎn)業(yè)界、投資界行業(yè)領(lǐng)袖，共同探討人工智能實(shí)戰(zhàn)落地和產(chǎn)學(xué)研發(fā)展方向。整個(gè)峰會(huì)由政府致辭、主題演講和產(chǎn)業(yè)論壇三個(gè)環(huán)節(jié)組成。會(huì)上，幾位人工智能領(lǐng)域的國(guó)際權(quán)威分享了各自領(lǐng)域的最新進(jìn)展和應(yīng)用方向。

貢三元教授

IEEE終身會(huì)士Sun Yuan Kung（貢三元）教授是人工智能神經(jīng)網(wǎng)絡(luò)學(xué)界大咖，他分享了反向傳播算法的問題及如何解決這些問題，將AI帶入3.0時(shí)代。眾所周知，今年的圖靈獎(jiǎng)授予給發(fā)明反向傳播算法，也就是BP算法的Geoffrey Hinton教授。可以說BP算法是深度學(xué)習(xí)的基石之一，但是它也存在不可解釋性和梯度消失等缺陷，就是將深度學(xué)習(xí)網(wǎng)絡(luò)變成了一個(gè)無法理解的黑盒子，并且在網(wǎng)絡(luò)深度增加的時(shí)候?qū)W習(xí)率變低，從而很難完成算法的訓(xùn)練。貢教授團(tuán)隊(duì)提出了一種可以學(xué)習(xí)內(nèi)部神經(jīng)元結(jié)構(gòu)的新型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，可有效解決這個(gè)問題，是下一代AI算法的基礎(chǔ)，預(yù)期將AI引入3.0時(shí)代。

Wayne Luk陸永青院士

英國(guó)皇家工程院院士、帝國(guó)理工陸永青院士是鯤云科技的聯(lián)合創(chuàng)始人&CSO，是定制計(jì)算領(lǐng)域的國(guó)際權(quán)威，他做了關(guān)于定制計(jì)算的可驗(yàn)證性主題分享。定制計(jì)算是可重構(gòu)計(jì)算的一個(gè)重要分支，此次分享陳述了神經(jīng)網(wǎng)絡(luò)在運(yùn)行時(shí)的功能準(zhǔn)確性驗(yàn)證。雖然神經(jīng)網(wǎng)絡(luò)已經(jīng)在許多領(lǐng)域中得到了有效應(yīng)用和落地，但由于其底層的運(yùn)行機(jī)制導(dǎo)致深度學(xué)習(xí)網(wǎng)絡(luò)很難用數(shù)學(xué)完全解釋。為了避免神經(jīng)網(wǎng)絡(luò)輸入噪音導(dǎo)致推斷結(jié)果的錯(cuò)誤，陸院士提出了一種基于可重構(gòu)硬件并對(duì)推斷結(jié)果進(jìn)行驗(yàn)證的方法。這種驗(yàn)證方法通過使用少量的硬件資源，在電路中對(duì)推斷過程的功能，數(shù)據(jù)和時(shí)序進(jìn)行監(jiān)控，從而有效的檢測(cè)出推斷過程中可能產(chǎn)生的錯(cuò)誤。

魏少軍教授

IEEE會(huì)士、中國(guó)電子學(xué)會(huì)會(huì)士、清華大學(xué)魏少軍教授是中國(guó)芯片領(lǐng)域的領(lǐng)軍人物，此次他做了題為軟件定義芯片：一種引向智能計(jì)算的方式的分享。介紹了一個(gè)可通過軟件定義芯片的架構(gòu)和設(shè)計(jì)，與傳統(tǒng)的CPU，F(xiàn)PGA和ASIC設(shè)計(jì)相比，該架構(gòu)可實(shí)現(xiàn)軟件編程和硬件編程的高效結(jié)合。該架構(gòu)設(shè)計(jì)允許硬件隨著軟件的變化實(shí)時(shí)動(dòng)態(tài)地改變芯片功能，其核心設(shè)計(jì)原理思想是通過粗粒度的可重構(gòu)架構(gòu)來實(shí)現(xiàn)軟件對(duì)硬件算子的調(diào)用。 Thinker芯片便是基于此設(shè)計(jì)理念所實(shí)現(xiàn)的，該芯片將這種軟件可定義的硬件設(shè)計(jì)應(yīng)用于AI算法中，可顯著的提高運(yùn)算的性能，功效和算法兼容性。

Viktor K. Prasanna教授

IEEE會(huì)士、ACM會(huì)士、南加州大學(xué)Viktor K. Prasanna教授是FPGA邊緣計(jì)算領(lǐng)域的國(guó)際專家，他分享了一種輕量化FPGA計(jì)算架構(gòu)在邊緣AI邊緣計(jì)算中的應(yīng)用。該架構(gòu)使用HIVE處理器和SHARP軟件框架，構(gòu)建了一個(gè)基于FPGA的高性能AI加速器。其核心為通過對(duì)模型運(yùn)算進(jìn)行分區(qū)，從而實(shí)現(xiàn)對(duì)實(shí)際AI應(yīng)用中有效數(shù)據(jù)區(qū)域的高速處理，避免了無效運(yùn)算。除此之外，該FPGA加速器會(huì)在數(shù)據(jù)處理前，通過數(shù)據(jù)頻域轉(zhuǎn)換分析數(shù)據(jù)的稀疏策略，進(jìn)一步實(shí)現(xiàn)有效數(shù)據(jù)的稀疏化處理并在系統(tǒng)運(yùn)行時(shí)對(duì)模型進(jìn)行剪枝、量化等性能優(yōu)化，從而使得FPGA運(yùn)行性能得到顯著提高。

Cristina Silvano教授

IEEE會(huì)士、米蘭理工大學(xué)Cristina Silvano教授介紹了一種高性能集群系統(tǒng)(mARGOt)通過自動(dòng)調(diào)節(jié)達(dá)到性能優(yōu)化的方法。該優(yōu)化過程可根據(jù)運(yùn)行時(shí)狀態(tài)，自動(dòng)調(diào)整應(yīng)用程序的運(yùn)行參數(shù)從而實(shí)現(xiàn)對(duì)系統(tǒng)性能的優(yōu)化.通過歷史數(shù)據(jù)信息，將應(yīng)用中的關(guān)鍵性能參數(shù)提取并生成性能參考數(shù)據(jù)庫(kù)。系統(tǒng)運(yùn)行時(shí)，可根據(jù)具體場(chǎng)景信息和參考數(shù)據(jù)對(duì)核心性能參數(shù)及內(nèi)核運(yùn)行狀態(tài)進(jìn)行實(shí)時(shí)的動(dòng)態(tài)調(diào)節(jié)，以達(dá)到系統(tǒng)對(duì)于場(chǎng)景的自適應(yīng)，從而在實(shí)際場(chǎng)景中，針對(duì)應(yīng)用領(lǐng)域?qū)崿F(xiàn)性能優(yōu)化，例如新型藥物研發(fā)和智能城市自適應(yīng)導(dǎo)航系統(tǒng)等。

樊文飛院士

英國(guó)皇家學(xué)會(huì)會(huì)士、歐洲科學(xué)院院士、愛丁堡大學(xué)信息學(xué)院樊文飛院士分享了如何將多種并行圖引擎應(yīng)用于大數(shù)據(jù)分析場(chǎng)景。傳統(tǒng)并行圖引擎優(yōu)化難度大且成本較高，難以在實(shí)際場(chǎng)景中得到大規(guī)模應(yīng)用。為了解決這一問題，樊院士將分布式的思想引入并行圖查詢引擎中，并以此為基礎(chǔ)開發(fā)了一種分布式并行圖處理系統(tǒng)。其核心思想是通過最小化重復(fù)的計(jì)算和操作以實(shí)現(xiàn)增量查詢。系統(tǒng)中采用了一種新的自適應(yīng)異步并行機(jī)制（AAP）調(diào)節(jié)不同進(jìn)程之間的協(xié)作以提升整體性能。該系統(tǒng)應(yīng)用于社交媒體，智庫(kù)，欺詐檢查等多種應(yīng)用場(chǎng)景和領(lǐng)域。

重量專家，AI加速行業(yè)落地進(jìn)行時(shí)

除了諸位院士、會(huì)士嘉賓的學(xué)術(shù)分享以外，Intel PSG戰(zhàn)略市場(chǎng)總監(jiān)的Tony Kau、浪潮人工智能與產(chǎn)品總經(jīng)理劉軍，也分享了英特爾和浪潮在人工智能的落地應(yīng)用以及創(chuàng)新技術(shù)等方面的技術(shù)革新和新進(jìn)展。

Tony Kau

隨著深度學(xué)習(xí)算法的不斷發(fā)展，AI對(duì)算力的需求也越來越高，為異構(gòu)計(jì)算加速的發(fā)展提供了土壤。2018年底，英特爾在重慶成立了全球最大的FPGA創(chuàng)新中心，在AI領(lǐng)域動(dòng)作有很多亮眼的動(dòng)作，此次峰會(huì)上，Tony Kau就英特爾FPGA在人工智能的落地應(yīng)用進(jìn)行了分享和交流，也分享了同鯤云在AI加速應(yīng)用和高校推廣等方面的深入合作。

劉軍

作為國(guó)內(nèi)最大的AI服務(wù)器廠商，浪潮的市場(chǎng)占有率為57%，擁有最強(qiáng)的AI計(jì)算產(chǎn)品陣列和端到端AI應(yīng)用加速方案。這次劉軍總經(jīng)理帶來了題為“AI計(jì)算創(chuàng)新與產(chǎn)業(yè)發(fā)展”的分享，探討人工智能技術(shù)創(chuàng)新和浪潮的應(yīng)用落地戰(zhàn)略。

圓桌論壇

此外，峰會(huì)還邀請(qǐng)到星瀚資本楊歌、雷鋒網(wǎng)麥廣煒、天津大學(xué)電子信息學(xué)院副院長(zhǎng)劉強(qiáng)、JWIPC副總經(jīng)理劉迪科、CCE-YOCSEF深圳主席盧昱明等專家學(xué)者與鯤云科技CTO蔡權(quán)雄博士就人工智能芯片產(chǎn)業(yè)與生態(tài)落地等話題進(jìn)行了探討。

2019年人工智能應(yīng)用創(chuàng)新峰會(huì)順利結(jié)束，干貨滿滿，在未來計(jì)算架構(gòu)的黃金十年，鯤云科技是否能夠憑借自己多年積累的數(shù)據(jù)流架構(gòu)厚積薄發(fā)，在AI芯片性能上實(shí)現(xiàn)單點(diǎn)突破？我們拭目以待。