賽靈思全新reVISION? 堆棧如何更快速的開發(fā)機(jī)器學(xué)習(xí)應(yīng)用

軟件可編程！硬件可編程！I/O也可編程！

既能軟件定義，又能硬件優(yōu)化，管你市場風(fēng)云變幻，管你市場標(biāo)準(zhǔn)、用戶需求如何莫測， 賽靈思All Programmable （全可編程芯片） 都能像變形金剛一樣， 讓用戶的設(shè)計(jì)永居科技前沿！

然而……

由于可編程器件硬件編程模式的限制，全可編程的解決方案一直惠及的只是少數(shù)擁有硬件專業(yè)知識的工程設(shè)計(jì)者。盡管賽靈思通過高層次綜合工具Vivado HLS 以及軟件定義設(shè)計(jì)環(huán)境系列SDSoC/SDAccel 讓上千用戶也享受到了硬件加速設(shè)計(jì)的優(yōu)勢， 但是這些還是遠(yuǎn)遠(yuǎn)不能滿足市場對全可編程技術(shù)的需求。

賽靈思全球同步發(fā)布最新軟件定義reVISION? 堆棧，宣布能夠支持更廣泛的很少或沒有硬件設(shè)計(jì)專業(yè)知識的嵌入式軟件和系統(tǒng)工程師，使其也能利用賽靈思的技術(shù)更輕松、更快速地開發(fā)視覺導(dǎo)向的機(jī)器學(xué)習(xí)應(yīng)用。讓我們來了解一下這個全新的reVISION吧 。

reVISION： 將全可編程技術(shù)擴(kuò)展至廣泛的視覺導(dǎo)向機(jī)器學(xué)習(xí)應(yīng)用

機(jī)器學(xué)習(xí)的應(yīng)用正迅速地?cái)U(kuò)展至越來越多的終端市場，在用戶端、在云端或者在那些基于端處理與基于云的數(shù)據(jù)分析相結(jié)合的混合解決方案中。

面向云應(yīng)用，賽靈思最近推出了可重配置加速堆棧（2016年11月推出），目標(biāo)直指包括機(jī)器學(xué)習(xí)推斷在內(nèi)的各種計(jì)算加速應(yīng)用。 面向端應(yīng)用，賽靈思現(xiàn)在宣布憑借Xilinx? reVISION? 堆棧大幅擴(kuò)展至廣泛的視覺導(dǎo)向機(jī)器學(xué)習(xí)應(yīng)用。 全新的reVISION堆棧能夠支持更廣泛的很少或沒有硬件設(shè)計(jì)專業(yè)知識的嵌入式軟件和系統(tǒng)工程師，使其也能利用賽靈思的技術(shù)更輕松、更快速地開發(fā)視覺導(dǎo)向的機(jī)器學(xué)習(xí)應(yīng)用。

圖1， 賽靈思擴(kuò)大機(jī)器學(xué)習(xí)應(yīng)用從端到云的部署 （來源：Machine Learning Landscape - Moor Insights & Strategy Research Paper）

廣泛的賽靈思視覺和機(jī)器學(xué)習(xí)應(yīng)用

如圖2 所示， 放眼全球，賽靈思已經(jīng)成為眾多企業(yè)構(gòu)建先進(jìn)嵌入式視覺系統(tǒng)的最佳選擇。 截至今天，全球已經(jīng)有23 家汽車制造商在 85 款不同車型的 ADAS 系統(tǒng)中部署了賽靈思先進(jìn)的嵌入式視覺系統(tǒng)，另外還有數(shù)百家嵌入式視覺客戶在其他數(shù)千種應(yīng)用中也部署了賽靈思的先進(jìn)嵌入式視覺系統(tǒng)。其中至少有40家已經(jīng)在開發(fā)或部署機(jī)器學(xué)習(xí)技術(shù)以大幅提高系統(tǒng)的智能。現(xiàn)在，大多數(shù)的賽靈思視覺客戶包括具有很強(qiáng)硬件專長的工程師們，都看準(zhǔn)了 Zynq? All Programmable SoC 和 MPSoC 的應(yīng)用。

圖 2：賽靈思嵌入式視覺行業(yè)成就

reVISION 的目標(biāo)應(yīng)用和使命

賽靈思正在為一些熱門市場的應(yīng)用提供支持。在這些市場中，差異化至關(guān)重要，系統(tǒng)必須響應(yīng)迅速，最新算法和傳感器必須能夠被快速部署。這些應(yīng)用包括“專業(yè)消費(fèi)類”應(yīng)用、汽車、工業(yè)、醫(yī)療、航空航天、軍用以及高端前沿消費(fèi)者應(yīng)用。這些應(yīng)用通常不包括部署在差異化較低的“夠用就好”或者發(fā)展成熟的技術(shù)之上的非常大批量的消費(fèi)類應(yīng)用或者主流商品化應(yīng)用在。

如圖 3 所示，眾多的傳統(tǒng)嵌入式視覺應(yīng)用通過采用機(jī)器視覺和傳感器融合技術(shù)后都在發(fā)生巨變。

圖3. 從嵌入式視覺到視覺導(dǎo)向的自主系統(tǒng)

下一代應(yīng)用包括協(xié)作機(jī)器人、具有感應(yīng)和躲避功能的無人機(jī)、增強(qiáng)現(xiàn)實(shí)、自動駕駛汽車、自動化監(jiān)視和醫(yī)療診斷等。這些系統(tǒng)通常具有三大使命：

第一：系統(tǒng)不僅要會思考，而且還能對情境立即做出“響應(yīng)”。這就要求一個從感應(yīng)到處理、分析、決策、通信和控制整個流程中更一致的視圖。同時(shí)還要高效實(shí)施、部署最新機(jī)器學(xué)習(xí)技術(shù)，滿足8位及更深層面的精確性要求。注意，針對機(jī)器學(xué)習(xí)訓(xùn)練優(yōu)化的技術(shù)繼續(xù)偏離對機(jī)器學(xué)習(xí)推斷優(yōu)化的技術(shù)。 賽靈思已經(jīng)專門為推斷技術(shù)優(yōu)化了其全可編程器件系列。

圖4：下一代視覺導(dǎo)向系統(tǒng)的應(yīng)用使命

第二：鑒于神經(jīng)網(wǎng)絡(luò)和相關(guān)算法的快速變化以及傳感器的快速發(fā)展，必須實(shí)現(xiàn)靈活性，能通過軟硬件的可重配置性升級系統(tǒng)。

第三：由于許多新系統(tǒng)都連接到了一起（物聯(lián)網(wǎng)），因此需要既能與傳統(tǒng)的已有設(shè)備通信，也能與未來推出的新設(shè)備通信，同時(shí)還要能夠進(jìn)行云端通信。賽靈思將此定義為任意互聯(lián)。

賽靈思器件可以獨(dú)特地支持以上所有三大使命， 且比其它替代方案擁有顯著的和可測量的優(yōu)勢。 通過高效的推斷和控制，賽靈思實(shí)現(xiàn)了傳感器的最快響應(yīng)時(shí)間，支持最新的神經(jīng)網(wǎng)絡(luò)，算法和傳感器的可重構(gòu)性，并支持與傳統(tǒng)或新機(jī)器、網(wǎng)絡(luò)和云的任意連接。

圖5：賽靈思獨(dú)特的應(yīng)用優(yōu)勢

然而，賽靈思器件的這些優(yōu)勢原來只有那些擁有硬件或者RTL 設(shè)計(jì)專長的專業(yè)用戶才能受益，對于更廣泛的應(yīng)用和支持使用行業(yè)標(biāo)準(zhǔn)庫和框架進(jìn)行軟件定義編程，還存在巨大的障礙。 reVISION堆棧的誕生， 解決了這個通往廣泛應(yīng)用的障礙。

圖6：廣泛應(yīng)用的障礙

賽靈思 reVISION 堆棧包括用于平臺、算法和應(yīng)用開發(fā)的豐富的開發(fā)資源，支持最流行的神經(jīng)網(wǎng)絡(luò)（諸如 AlexNet、GoogLeNet、SqueezeNet、SSD 和 FCN）以及庫元素（如 CNN 網(wǎng)絡(luò)層的預(yù)定義優(yōu)化型實(shí)現(xiàn)方案，這也是構(gòu)建定制神經(jīng)網(wǎng)絡(luò) DNN/CNN 所需的）。配合豐富的滿足加速要求的 OpenCV 功能，支持機(jī)器視覺處理。對應(yīng)用層面的開發(fā)來說，賽靈思支持流行的框架，包括用于機(jī)器學(xué)習(xí)的 Caffe 和用于計(jì)算機(jī)視覺的 OpenVX（將于 2017 年下半年推出）。reVISION 堆棧還包括賽靈思和第三方提供的基于 Zynq SoC 和 MPSoC 的開發(fā)平臺。

圖7：賽靈思reVISION 堆棧

移除了通往廣泛應(yīng)用的障礙

reVISION 堆棧支持一大批廣泛的設(shè)計(jì)團(tuán)隊(duì)無需深層的硬件專業(yè)技術(shù)，使用軟件定義開發(fā)流程就能將機(jī)器學(xué)習(xí)和計(jì)算機(jī)算法的高效實(shí)現(xiàn)方案整合到響應(yīng)迅速的系統(tǒng)中。

圖8：reVISION 的軟件定義設(shè)計(jì)流程

如圖 8 所示，reVISION 開發(fā)流程從 熟悉的C、C++ 和/或 OpenCL 語言及相關(guān)編譯器技術(shù)的基于 eclipse 的開發(fā)環(huán)境（即 SDSoC 開發(fā)環(huán)境）啟動。在 SDSoC 環(huán)境中，軟件工程師和系統(tǒng)工程師能以 reVISION 硬件平臺為目標(biāo)，并采用大量的加速就緒型計(jì)算機(jī)視覺庫，很快還能采用OpenVX框架，從而快速構(gòu)建應(yīng)用。

對于機(jī)器學(xué)習(xí)，我們可用 Caffe 等流行的框架來培訓(xùn)神經(jīng)網(wǎng)絡(luò)，用 Caffe 生成的 .prototxt 文件對基于 ARM 的軟件調(diào)度器進(jìn)行配置，從而驅(qū)動專門為可編程邏輯預(yù)先優(yōu)化的CNN 推斷加速器。

對計(jì)算機(jī)視覺和其他專有算法來說，用戶可對軟件代碼進(jìn)行特征分析，發(fā)現(xiàn)瓶頸，并在代碼中標(biāo)出希望加速并進(jìn)行“硬件優(yōu)化”的特定功能?！跋到y(tǒng)優(yōu)化編譯器”則用來創(chuàng)建加速的實(shí)現(xiàn)方案，包括處理器/加速器接口（數(shù)據(jù)移動器）和軟件驅(qū)動器。結(jié)合計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)功能，該編譯器能創(chuàng)建優(yōu)化的融合實(shí)現(xiàn)方案。

如圖 9 左側(cè)所示，專家級賽靈思用戶采用傳統(tǒng) RTL 設(shè)計(jì)流程，與 ARM 軟件開發(fā)人員合作，要花大量設(shè)計(jì)時(shí)間才能開發(fā)出高度差異化的機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺應(yīng)用。

圖9：reVISION 堆棧 —— 移除通往廣泛應(yīng)用的障礙

為進(jìn)一步加快設(shè)計(jì)進(jìn)程，減少對硬件專家的依賴，賽靈思大約在兩年前推出了基于 C、C++ 和 OpenCL 語言的 SDSoC 開發(fā)環(huán)境。雖然這幫助其它上千名能夠開發(fā)自己的基礎(chǔ)平臺、庫和應(yīng)用的用戶大幅縮短了開發(fā)周期，但仍無法滿足廣泛機(jī)器學(xué)習(xí)應(yīng)用推廣與部署的要求，而且機(jī)器學(xué)習(xí)也帶來了復(fù)雜問題。

如圖 10 所示，賽靈思的全新 reVISION 堆棧使更多軟件工程師和系統(tǒng)工程師無需掌握或只需掌握一點(diǎn)硬件設(shè)計(jì)專業(yè)技術(shù)，就能夠更輕松快速地開發(fā)出智能嵌入式視覺系統(tǒng)，包括將機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺算法的超高效實(shí)現(xiàn)方案整合到高響應(yīng)性系統(tǒng)中。

圖10：賽靈思 reVISION 和 Nvidia Tegra X1 對比

從傳感器到推斷和控制的最快響應(yīng)性

如上所述，軟件定義的 reVISION 流程支持快速開發(fā)響應(yīng)最快的系統(tǒng)。事實(shí)上，相比嵌入式 CPU 和典型 SoC 的性能參數(shù)，賽靈思的表現(xiàn)大大超越了英偉達(dá) （ Nvidia） 這一強(qiáng)手。

將基于 Zynq SoC 的 reVISION流程與 Nvidia Tegra X1 進(jìn)行基準(zhǔn)對比可以看出，reVision流程講機(jī)器學(xué)習(xí)的單位功耗圖像捕獲速度提升了6 倍，將計(jì)算機(jī)視覺處理的幀速率提升了 42 倍，而時(shí)延僅為 1/5（以毫秒為單位），這些數(shù)據(jù)對實(shí)時(shí)應(yīng)用而言都是至關(guān)重要的。

如圖 11 所示，擁有速度極快的確定性系統(tǒng)響應(yīng)時(shí)間非常有用。我們從這個例子看到，一輛汽車采用賽靈思基于 Zynq SoC 的reVISION 與采用 Nvidia Tegra 的汽車一起識別潛在的碰撞事故并采取剎車，在速度為 65 mph 情況下，根據(jù) Nvidia器件的具體實(shí)現(xiàn)方案，賽靈思的響應(yīng)時(shí)間可以讓汽車在5到33英尺的距離停下，從而輕松實(shí)現(xiàn)安全剎車，避免碰撞。

圖11：響應(yīng)時(shí)間為什么重要：賽靈思和 Nvidia Tegra X1 的對比

響應(yīng)時(shí)間的的這些顯著優(yōu)點(diǎn)來源于Zynq SoC相對于嵌入式GPU和典型SoC的基本架構(gòu)優(yōu)勢。 如圖12所示，嵌入式GPU和典型SoC需要從傳感器到視覺、機(jī)器學(xué)習(xí)和控制處理頻繁訪問外部存儲器。 相比之下，Zynq SoC部署了使用可編程邏輯和顯著多得多的內(nèi)部存儲器（高達(dá)Nvidia Tegra X1的19倍）實(shí)現(xiàn)的優(yōu)化和流線型數(shù)據(jù)流。 這不僅實(shí)現(xiàn)了相對替代方案1/5的延遲，而且還實(shí)現(xiàn)了對于許多實(shí)時(shí)應(yīng)用至關(guān)重要的確定性的響應(yīng)能力。

圖12：賽靈思響應(yīng)時(shí)間優(yōu)勢的來源

面向最新網(wǎng)絡(luò)和傳感器的可重配置性

響應(yīng)時(shí)間很重要，而賽靈思解決方案還提供了非常獨(dú)特的可重配置性優(yōu)勢。為了能夠用尖端神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)推斷效率部署最佳系統(tǒng)，工程師必須能夠在整個產(chǎn)品的產(chǎn)品生命周期同時(shí)優(yōu)化軟硬件。如圖 13 所示，機(jī)器學(xué)習(xí)領(lǐng)域最后兩年的發(fā)展所帶來的科技進(jìn)步超越了過去 45 年的水平。許多新的神經(jīng)網(wǎng)絡(luò)隨著新技術(shù)的出現(xiàn)不斷發(fā)展，也大幅提高了的部署效率。不管今天制定什么標(biāo)準(zhǔn)，未來部署什么，都需要通過硬件可重配置性確保滿足未來需求。只有賽靈思全可編程（All programmable）的器件才能提供這種級別的可重配置性。

圖13：隨著機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，為什么可重配置性非常重要？

如圖14所示，對快速演進(jìn)傳感器技術(shù)的管理同樣需要可重配置性。人工智能（AI）革命加速了傳感器技術(shù)在不同領(lǐng)域的發(fā)展演進(jìn)，也要求更高水平的傳感器融合，以整合不同類型的傳感器，以便在該環(huán)境了構(gòu)建全面而完整的系統(tǒng)環(huán)境和對象視圖。與機(jī)器學(xué)習(xí)類似，不管制定什么傳感器配置標(biāo)準(zhǔn)、未來如何實(shí)現(xiàn)，都需要通過硬件可重配置性來滿足未來需求。同樣，只有賽靈思 All programmable 器件才能提供這種級別的可重配置性。

圖14：為什么隨著傳感器的發(fā)展，可重配置性非常重要？

任意連接和傳感器接口

如圖 15 所示，基于 Zynq 的視覺平臺提供了穩(wěn)健可靠的任意連接能力和傳感器接口優(yōu)勢。

Zynq 的傳感器和連接性優(yōu)勢包括：

● 相對于目前市場中其它 SoC而言，帶寬提升高達(dá) 12 倍，包括支持原生的 8K 和定制分辨率。

● 大幅增加了高低帶寬傳感器接口和通道，支持差異化傳感器組合，包括RADAR、LiDAR、加速計(jì)和力扭矩傳感器。

● 業(yè)界領(lǐng)先的最新數(shù)據(jù)傳輸和存儲接口支持，為滿足未來標(biāo)準(zhǔn)要求可方便地進(jìn)行重新配置。

圖 15： 傳感器 &連接器 ：Xilinx 與 Nvidia 和 典型SoC對比

與其它解決方案對比

通過將 Zynq 平臺的獨(dú)特優(yōu)勢和配備了各種庫和業(yè)界標(biāo)準(zhǔn)框架支持的軟件定義開發(fā)環(huán)境融為一體，reVISION 為視覺系統(tǒng)開發(fā)提供了最佳替代方案。如前所述，reVISION 的獨(dú)特之處在于能實(shí)現(xiàn)智能應(yīng)用的三大使命，以最新技術(shù)滿足差異化和上市進(jìn)程的重要要求，同時(shí)支持最快響應(yīng)性、可重配置性、任意連接和軟件定義編程。它同時(shí)還利用軟件定義的編程模式移除了通往廣泛應(yīng)用的障礙。

如圖 16 所示，在縱軸上只有 reVISION 能支持從傳感器到機(jī)器學(xué)習(xí)推斷和互聯(lián)控制的優(yōu)化，實(shí)現(xiàn)最佳系統(tǒng)響應(yīng)時(shí)間。在橫軸上，只有reVISION能為硬件優(yōu)化的算法加速提供所需的可重配置性，并能升級更新到最新的傳感器和連接性需求。雖然許多賽靈思器件客戶的硬件專家已經(jīng)能夠?qū)崿F(xiàn)這些優(yōu)勢，但是全新的reVISION堆棧通過使用行業(yè)標(biāo)準(zhǔn)庫和框架實(shí)現(xiàn)軟件定義的編程，消除了向更廣泛應(yīng)用的障礙。

圖16：賽靈思 —— 面向目標(biāo)市場反應(yīng)最快且可重配置的最佳選擇

總結(jié)： reVISION

通過Xilinx reVISION? 堆棧的推出， 賽靈思將技術(shù)擴(kuò)展至廣泛的視覺導(dǎo)向機(jī)器學(xué)習(xí)應(yīng)用領(lǐng)域。reVISION? 堆棧的推出進(jìn)一步補(bǔ)充和完善了近期發(fā)布的可重配置加速堆棧，大幅擴(kuò)展了賽靈思技術(shù)在機(jī)器學(xué)習(xí)應(yīng)用領(lǐng)域從端到云的部署。全新的reVISION堆棧能夠支持更廣泛的很少甚至沒有硬件專業(yè)知識的軟件和系統(tǒng)工程師，使其可以更輕松、更快速地開發(fā)視覺導(dǎo)向的智能系統(tǒng)。一旦將機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、傳感器融合和連接的優(yōu)勢融為一體，這些工程師將從中大受裨益。

責(zé)任編輯：gt