0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

嵌入式視覺應(yīng)用于機器學(xué)習(xí)的設(shè)計方案

Xilinx賽靈思官微 ? 來源:djl ? 作者:賽靈思Nick Ni和Ad ? 2019-07-29 10:49 ? 次閱讀

目前嵌入式視覺領(lǐng)域最熱門的話題之一就是機器學(xué)習(xí)。機器學(xué)習(xí)涵蓋多個行業(yè)大趨勢,不僅在嵌入式視覺 (EV) ,而且在工業(yè)物聯(lián)網(wǎng) (IIoT) 和云計算中均發(fā)揮著極為顯赫的作用。對不熟悉機器學(xué)習(xí)的人來說,很多時候機器學(xué)習(xí)是通過神經(jīng)網(wǎng)絡(luò)創(chuàng)建和訓(xùn)練來實現(xiàn)的。神經(jīng)網(wǎng)絡(luò)一語極為寬泛,包含相當(dāng)數(shù)量的截然不同的子類別。這些子類別的名稱一般用于識別被實現(xiàn)的網(wǎng)絡(luò)的具體類型。這些網(wǎng)絡(luò)均在大腦皮層上建模,在大腦皮層中每個神經(jīng)元接收輸入、處理輸入并將其傳達給另一個神經(jīng)元。因此神經(jīng)元一般由輸入層、多個隱藏內(nèi)部層和一個輸出層組成。

圖1:簡單的神經(jīng)網(wǎng)絡(luò)

在最簡單的層面上,神經(jīng)元獲得輸入,施加權(quán)重給輸入,然后在加權(quán)輸入總和上執(zhí)行傳遞函數(shù)。結(jié)果隨后傳遞給隱藏層中的另一個層,或傳遞給輸出層。將一級的輸出傳遞給另一級且不構(gòu)成循環(huán)的神經(jīng)網(wǎng)絡(luò)被稱為前饋神經(jīng)網(wǎng)絡(luò) (FNN),而那些有反饋、內(nèi)含定向循環(huán)的神經(jīng)網(wǎng)絡(luò)則被稱為遞歸神經(jīng)網(wǎng)絡(luò) (RNN)。在眾多機器學(xué)習(xí)應(yīng)用中極為常用的神經(jīng)網(wǎng)絡(luò)是深度神經(jīng)網(wǎng)絡(luò) (DNN)。這類神經(jīng)網(wǎng)絡(luò)擁有多個隱藏層,能實現(xiàn)更復(fù)雜的機器學(xué)習(xí)任務(wù)。為確定每層使用的權(quán)重和偏差值,需要對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練。在訓(xùn)練過程中,該神經(jīng)網(wǎng)絡(luò)施加有一定數(shù)量的正確輸入和錯誤輸入,并使用誤差函數(shù)教授網(wǎng)絡(luò)所需的性能。訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)可能需要龐大的數(shù)據(jù)集來正確訓(xùn)練所需性能。

機器學(xué)習(xí)最重要的應(yīng)用之一是嵌入式視覺領(lǐng)域,各類系統(tǒng)正在從視覺使能系統(tǒng)演進為視覺引導(dǎo)自動化系統(tǒng)。嵌入式視覺應(yīng)用與其他更簡單的機器學(xué)習(xí)應(yīng)用的區(qū)別在于它們采用二維輸入格式。因此,在機器學(xué)習(xí)實現(xiàn)方案中,通過使用稱為卷積神經(jīng)網(wǎng)絡(luò) (CNN) 的網(wǎng)絡(luò)結(jié)構(gòu),因為它們能夠處理二維輸入。CNN 是一類前饋網(wǎng)絡(luò),內(nèi)置多個卷積層和子采樣層以及一個單獨的全連通網(wǎng)絡(luò),以執(zhí)行最終分類。鑒于 CNN 的復(fù)雜性,它們也歸屬深度學(xué)習(xí)類別。在卷積層中,輸入圖像被細分為一系列重疊的小模塊。在進行進一步的子采樣和其它階段之前,該卷積的結(jié)果先通過激活層創(chuàng)建激活圖,然后應(yīng)用到最終的全連通網(wǎng)絡(luò)上。CNN 網(wǎng)絡(luò)的具體定義因?qū)崿F(xiàn)的網(wǎng)絡(luò)架構(gòu)而異,但它一般會包含至少下列元:

●卷積 – 用于識別圖像中的特征

●修正線性單元(reLU)- 用于在卷積后創(chuàng)建激活圖的激活層

●最大池化 – 在層間進行子采樣

● 全連通 - 執(zhí)行最終分類

這些元中每一個元的權(quán)重通過訓(xùn)練決定,同時 CNN 的優(yōu)勢之一在于訓(xùn)練網(wǎng)絡(luò)相對容易。通過訓(xùn)練生成權(quán)重需要龐大的圖像集,其中既有需要檢測的對象,也有偽圖像。這樣能讓我們?yōu)?CNN 創(chuàng)建所需的權(quán)重。由于訓(xùn)練流程中所涉及的處理要求,訓(xùn)練流程一般運行在提供高性能計算的云處理器上。

框 架

機器學(xué)習(xí)是一個復(fù)雜的課題,尤其是在每次不得不從頭開始,定義網(wǎng)絡(luò)、網(wǎng)絡(luò)架構(gòu)和生成訓(xùn)練算法的時候。為幫助工程師實現(xiàn)網(wǎng)絡(luò)和訓(xùn)練網(wǎng)絡(luò),有一些行業(yè)標準框架可供使用,例如 Caffe 和 Tensor Flow。Caffe 框架為機器學(xué)習(xí)開發(fā)人員提供各種庫、模型和 C++ 庫內(nèi)的預(yù)訓(xùn)練權(quán)重,同時提供 PythonMatlab 綁定。該框架能讓用戶無需從頭開始即能創(chuàng)建網(wǎng)絡(luò)并訓(xùn)練網(wǎng)絡(luò),以開展所需的運算。為便于重復(fù)使用,Caffe 用戶能通過 model zoo 共享自己的模型。Model Zoo 提供多種能根據(jù)所需的專門任務(wù)實現(xiàn)和更新的模型。這些網(wǎng)絡(luò)和權(quán)重定義在 prototxt 文件中。在用于機器學(xué)習(xí)環(huán)境時,prototxt 文件是用于定義推斷引擎的文件。

嵌入式視覺應(yīng)用于機器學(xué)習(xí)的設(shè)計方案

圖2:定義網(wǎng)絡(luò)的 Prototxt 文件實例

實現(xiàn)嵌入式視覺和機器學(xué)習(xí)

基于可編程邏輯的解決方案,例如異構(gòu)賽靈思 All Programmable Zynq -7000 SoC(片上系統(tǒng))和 Zynq UltraScale+ MPSoC 等多處理器片上系統(tǒng) (MPSoC) 越來越廣泛地用于嵌入式視覺應(yīng)用。這些器件將可編程邏輯 (PL) 架構(gòu)與處理系統(tǒng) (PS) 中的高性能ARM 內(nèi)核完美組合在一起。這種組合形成的系統(tǒng)擁有更快的響應(yīng)速度,極為靈活便于未來修改,并且提供了高能效解決方案。對許多應(yīng)用來說低時延決策與響應(yīng)循環(huán)極為重要。例如視覺引導(dǎo)自主機器人,響應(yīng)時間對避免給人員造成傷害、給環(huán)境造成破壞至關(guān)重要??s短響應(yīng)時間的具體方法是使用可編程邏輯實現(xiàn)視覺處理流水線和使用機器學(xué)習(xí)推斷引擎實現(xiàn)機器學(xué)習(xí)。在這方面使用可編程邏輯,與傳統(tǒng)解決方案相比可減少系統(tǒng)瓶頸問題。在使用基于 CPU/GPU 的方法時,運算每一階段都需要使用外部 DDR,因為圖像不能在有限內(nèi)部緩存內(nèi)的功能間傳遞。可編程邏輯方法使用內(nèi)部 ARM 按需提供緩存,允許采用流媒體方法。避免在 DDR 內(nèi)存儲中間元不僅可降低圖像處理的時延,而且還能降低功耗,甚至提高確定性,因為無需與其他系統(tǒng)資源共享訪問。

嵌入式視覺應(yīng)用于機器學(xué)習(xí)的設(shè)計方案

圖 3:可編程邏輯實現(xiàn)的好處

使用賽靈思提供的 reVISION 堆棧,在異構(gòu) SoC 中能輕松實現(xiàn)圖像處理算法和機器學(xué)習(xí)網(wǎng)絡(luò)。基于 SDSoC 工具,reVISION 能同時支持傳統(tǒng)圖像應(yīng)用和機器學(xué)習(xí)應(yīng)用。在 reVISION 內(nèi)部,同時支持 OpenVX 和 Caffe 框架。為支持 OpenVX 框架,內(nèi)核圖像處理功能可被加速到可編程邏輯中,以創(chuàng)建圖像處理流水線。同時機器學(xué)習(xí)推斷環(huán)境支持可編程邏輯中的硬件優(yōu)化庫,以實現(xiàn)執(zhí)行機器學(xué)習(xí)實現(xiàn)方案的推斷引擎。

嵌入式視覺應(yīng)用于機器學(xué)習(xí)的設(shè)計方案

圖4:reVISION 堆棧

reVISION 提供與 Caffe 的集成,這樣實現(xiàn)機器學(xué)習(xí)推斷引擎就如同提供 prototxt 文件和經(jīng)訓(xùn)練的權(quán)重一樣簡單,框架負責(zé)處理其余工作。然后使用 prototxt 文件對運行在處理系統(tǒng)上的 C/C++ 調(diào)度器進行配置,以加速可編程邏輯中硬件優(yōu)化庫上的神經(jīng)網(wǎng)絡(luò)推斷??删幊踢壿嬘糜趯崿F(xiàn)推斷引擎,內(nèi)含 Conv、ReLu 和 Pooling 等功能。

嵌入式視覺應(yīng)用于機器學(xué)習(xí)的設(shè)計方案

圖5:Caffe 流程集成

機器學(xué)習(xí)推斷引擎實現(xiàn)方案中使用的數(shù)值表示系統(tǒng)也對機器學(xué)習(xí)性能有重要作用。機器學(xué)習(xí)應(yīng)用正越來越多地使用更高效的降精度定點數(shù)值系統(tǒng),例如 INT8 表達式。與傳統(tǒng)的浮點 32 (FP32) 方法相比,使用定點降精度數(shù)值系統(tǒng)不會造成顯著的精度下降。因為與浮點相比,定點數(shù)學(xué)在實現(xiàn)難度上也明顯更低,轉(zhuǎn)而采用 INT8 能在一些實現(xiàn)中提供更高效、更快速的解決方案。使用定點數(shù)值系統(tǒng)對在可編程邏輯解決方案中的實現(xiàn)方案而言相當(dāng)理想,reVISION 在可編程邏輯中能與 INT8 表達式協(xié)同工作。這些 INT8 表達式方便在可編程邏輯中使用專門的 DSP 模塊。在使用相同的內(nèi)核權(quán)重時,這些 DSP 模塊架構(gòu)能實現(xiàn)最多兩個并發(fā) INT8 乘法累加運算供執(zhí)行。這樣不僅能提供高性能實現(xiàn)方案,而且還能夠降低功耗。只要采用,可編程邏輯的靈活性也還便于實現(xiàn)進一步降精度定點數(shù)值表達系統(tǒng)。

嵌入式視覺應(yīng)用于機器學(xué)習(xí)的設(shè)計方案

圖6:不同權(quán)重表達的網(wǎng)絡(luò)精度。

真 實 性 能

在真實環(huán)境中,reVISION 堆棧能帶來明顯優(yōu)勢。在嵌入式視覺應(yīng)用中使用機器學(xué)習(xí)的應(yīng)用實例之一,如車輛避碰系統(tǒng)。在 reVISION 中針對賽靈思 UltraScale+ MPSoC 并開發(fā)相關(guān)應(yīng)用,使用 SDSoC 在可編程邏輯中按需為各項功能加速以達到優(yōu)化性能,能明顯改善響應(yīng)性。在都用于實現(xiàn) GoogLeNet 解決方案的條件下,將 reVISION MPSoC 的響應(yīng)時間與基于 GPU 的方法進行對比,差異相當(dāng)明顯。reVISION 設(shè)計能在 2.7ms 內(nèi)發(fā)現(xiàn)潛在的碰撞事件并啟動車輛制動(使用的批量規(guī)模為 1),而基于 GPU 的方法則需要用時49ms-320ms(具體取決于其實現(xiàn)方案)(對大批量規(guī)模)。GPU 架構(gòu)需要大批量規(guī)模才能實現(xiàn)合理的吞吐量,但會以犧牲響應(yīng)時間為代價,而 Zynq 在批量規(guī)模為 1 的情況下也能以極低時延實現(xiàn)高性能。這種反應(yīng)時間上的差異可以決定碰撞發(fā)生與否。

總 結(jié)

機器學(xué)習(xí)將繼續(xù)成為眾多應(yīng)用的重要推動因素,尤其是在視覺導(dǎo)向機器人或所謂的“協(xié)作機器人”中。將處理器內(nèi)核與可編程邏輯結(jié)合的異構(gòu) SoC, 能創(chuàng)建非常高效、極具響應(yīng)性且可重配置的解決方案。像reVISION 這樣的堆棧的推出,首次將可編程邏輯的好處帶給了更廣闊的開發(fā)者社群,同時還縮短了解決方案的開發(fā)時間。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 神經(jīng)元
    +關(guān)注

    關(guān)注

    1

    文章

    363

    瀏覽量

    18423
  • 機器學(xué)習(xí)
    +關(guān)注

    關(guān)注

    66

    文章

    8325

    瀏覽量

    132215
  • 嵌入式視覺
    +關(guān)注

    關(guān)注

    8

    文章

    117

    瀏覽量

    59113
收藏 人收藏

    評論

    相關(guān)推薦

    從神經(jīng)網(wǎng)絡(luò)入門嵌入式視覺應(yīng)用的機器學(xué)習(xí)

    目前嵌入式視覺領(lǐng)域最熱門的話題之一就是機器學(xué)習(xí)。機器學(xué)習(xí)涵蓋多個行業(yè)大趨勢,不僅在
    的頭像 發(fā)表于 01-07 09:37 ?1.3w次閱讀
    從神經(jīng)網(wǎng)絡(luò)入門<b class='flag-5'>嵌入式</b><b class='flag-5'>視覺</b>應(yīng)用的<b class='flag-5'>機器</b><b class='flag-5'>學(xué)習(xí)</b>

    嵌入式視覺和網(wǎng)絡(luò)邊緣智能應(yīng)用市場發(fā)展迅速

    應(yīng)用找到了用武之地。制造商一直以來都依賴于工業(yè)應(yīng)用中的機器視覺系統(tǒng),但隨著先進機器人技術(shù)和機器學(xué)習(xí)技術(shù)的涌現(xiàn)以及向工業(yè)4.0制造模式的轉(zhuǎn)變,
    發(fā)表于 07-18 07:52

    一種基于CPCI的嵌入式單板計算機電源的設(shè)計方案

    以及電源完整性提出更高的要求。這里介紹一種基于CPCI的嵌入式單板計算機電源的設(shè)計方案。該設(shè)計主要應(yīng)用于航空設(shè)備和軍用車載設(shè)備。
    發(fā)表于 07-22 06:51

    一種基于CPCI的嵌入式單板計算機電源的設(shè)計方案

    以及電源完整性提出更高的要求。這里介紹一種基于CPCI的嵌入式單板計算機電源的設(shè)計方案。該設(shè)計主要應(yīng)用于航空設(shè)備和軍用車載設(shè)備。
    發(fā)表于 07-24 07:18

    如何推動嵌入式視覺技術(shù)發(fā)展?

    新的成像應(yīng)用正在蓬勃發(fā)展,從工業(yè) 4.0 中的協(xié)作機器人,到無人機消防或用于農(nóng)業(yè),再到生物特征面部識別,再到家庭中的護理點手持醫(yī)療設(shè)備。出現(xiàn)這些新應(yīng)用程序的一個關(guān)鍵因素是,嵌入式視覺
    發(fā)表于 10-24 08:11

    嵌入式機器視覺系統(tǒng)有什么特性?怎么優(yōu)化?

    介紹了基于ARM+DSP架構(gòu)的嵌入式機器視覺系統(tǒng)的特性,分析了制約嵌入式機器視覺系統(tǒng)性能的因素。
    發(fā)表于 03-11 06:47

    嵌入式系統(tǒng)電源設(shè)計方案

    嵌入式系統(tǒng)電源設(shè)計方案 本文探討便攜嵌入式系統(tǒng)電源設(shè)計的注意事項以及設(shè)計中應(yīng)遵循的準
    發(fā)表于 04-17 15:11 ?1582次閱讀
    <b class='flag-5'>嵌入式</b>系統(tǒng)電源<b class='flag-5'>設(shè)計方案</b>

    嵌入式機器視覺系統(tǒng)優(yōu)化研究

    介紹了基于ARM+DSP架構(gòu)的嵌入式機器視覺系統(tǒng)的特性,分析了制約嵌入式機器視覺系統(tǒng)性能的因素。
    發(fā)表于 08-13 17:29 ?45次下載
    <b class='flag-5'>嵌入式</b><b class='flag-5'>機器</b><b class='flag-5'>視覺</b>系統(tǒng)優(yōu)化研究

    目前嵌入式視覺領(lǐng)域最熱門的話題之一就是機器學(xué)習(xí)

    目前嵌入式視覺領(lǐng)域最熱門的話題之一就是機器學(xué)習(xí)機器學(xué)習(xí)涵蓋多個行業(yè)大趨勢,不僅在
    發(fā)表于 01-06 11:45 ?1157次閱讀

    隨著嵌入式系統(tǒng)的高速發(fā)展 嵌入式機器視覺系統(tǒng)的應(yīng)用也越來越廣泛

    嵌入式系統(tǒng)的高速發(fā)展,嵌入式機器視覺系統(tǒng)越來越多地應(yīng)用于工業(yè)檢測與控制、智能交通、安防、醫(yī)療器械、機器
    發(fā)表于 05-14 08:47 ?2220次閱讀
    隨著<b class='flag-5'>嵌入式</b>系統(tǒng)的高速發(fā)展 <b class='flag-5'>嵌入式</b><b class='flag-5'>機器</b><b class='flag-5'>視覺</b>系統(tǒng)的應(yīng)用也越來越廣泛

    三大廠商推出AI嵌入式視覺入門套件,用于計算機視覺機器學(xué)習(xí)設(shè)計

    Toradex,Amazon Web Services(AWS)和NXP Semiconductors合作推出了AI嵌入式視覺入門套件,用于開發(fā)與云連接的計算機視覺
    的頭像 發(fā)表于 03-11 17:00 ?3713次閱讀

    嵌入式技術(shù)無處不在,嵌入式視覺系統(tǒng)的簡介

    嵌入式視覺指的是機器通過視覺手段來理解周圍的環(huán)境,嵌入式視覺是兩項技術(shù)的整合,即
    發(fā)表于 03-12 11:08 ?1203次閱讀

    基于ARM的嵌入式Web服務(wù)器設(shè)計方案

    基于ARM的嵌入式Web服務(wù)器設(shè)計方案
    發(fā)表于 06-15 11:13 ?20次下載

    嵌入式機器視覺系統(tǒng)設(shè)計

    嵌入式機器視覺系統(tǒng)設(shè)計(嵌入式開發(fā)需要學(xué)什么)-該文檔為嵌入式機器
    發(fā)表于 07-30 09:02 ?16次下載
    <b class='flag-5'>嵌入式</b><b class='flag-5'>機器</b><b class='flag-5'>視覺</b>系統(tǒng)設(shè)計

    機器視覺嵌入式的關(guān)系

    機器視覺嵌入式的關(guān)系 機器視覺嵌入式技術(shù)是當(dāng)前信息技術(shù)中得到廣泛應(yīng)用的兩個關(guān)鍵領(lǐng)域。它們的結(jié)
    的頭像 發(fā)表于 08-09 16:57 ?1031次閱讀