資料介紹
近年來,依托電子芯片技術的發(fā)展,神經(jīng)網(wǎng)絡的結構被設計得更深更大,以應對更加復雜和抽象的場景。隨之而來的問題是深府神經(jīng)網(wǎng)絡在訓練和推理都依托大規(guī)模的浮點運算實現(xiàn),對存儲資源的占用和設備功耗的需求產(chǎn)生了很高的需求?;趥鬏斢|發(fā)架構(TransportTriggered Architecture,TTA)的專用指令集處理器(ApplicationSpecific Instruction Set Processor,ASIP)既能夠提供專用集成電路級別的高性能和低功耗,又能夠提供處理器級別的指令集靈活性,是解決該問題的途徑之一。
量化與加速是深度神經(jīng)網(wǎng)絡硬件實現(xiàn)時常用的兩項技術,卷積神經(jīng)網(wǎng)絡是最有代表性和最通用的深度神經(jīng)網(wǎng)絡。本文的主要工作即圍繞這兩項技術,進行面向TTA架構ASIP設計的卷積神經(jīng)網(wǎng)絡的優(yōu)化,具體內容包含以下兩個部分:
其一,本文針對基于TTA架構的神經(jīng)網(wǎng)絡ASIP的需求,提出了一套端到端完整的8比特量化方案。該方案結合權重、激活值和梯度的各自特點,為它們制定了相應的量化策略,包括了對稱仿射的權重量化、帶動態(tài)上限的激活值量化、變精度的梯度量化以及一種近似的批量歸一化算法。在多數(shù)據(jù)集、多模型結構的實驗中,該方案都取得了與全精度網(wǎng)絡相當?shù)木龋I先于部分當下常用的量化方案。
其二,本文將查找表資源融入到卷積運算中,提出了一種基于乘法結合律的卷積運算的加速方案。該方案針對面向TTA架構的量化卷積功能單元,提供了符合量化卷積特性的卷積核分塊、循環(huán)展開、數(shù)據(jù)交換規(guī)則,并展示了基于TTA架構的神經(jīng)網(wǎng)絡加速器的整體結構。對比傳統(tǒng)卷積方案,該方案緩解了有限的乘法器資源對于神經(jīng)網(wǎng)絡并行計算的限制,在并行度與計算能效比兩方面都有所提升。
本文中,量化方案是加速方案的基礎,加速方案是量化方案的補充,二者共同構成了本文的優(yōu)化工作,為基于TTA架構的深度神經(jīng)網(wǎng)絡的ASIP實現(xiàn)提供了支持。
- 基于BP神經(jīng)網(wǎng)絡優(yōu)化的光伏發(fā)電預測模型 35次下載
- 基于神經(jīng)網(wǎng)絡的優(yōu)化計算實驗 43次下載
- BP神經(jīng)網(wǎng)絡基本原理簡介 16次下載
- 3小時學習神經(jīng)網(wǎng)絡與深度學習課件下載 0次下載
- 深度神經(jīng)網(wǎng)絡模型的壓縮和優(yōu)化綜述 20次下載
- 綜述深度神經(jīng)網(wǎng)絡的解釋方法及發(fā)展趨勢 18次下載
- 一種基于多視圖架構的深度卷積神經(jīng)網(wǎng)絡模型 5次下載
- 神經(jīng)網(wǎng)絡的方法學習課件免費下載 17次下載
- 基于深度神經(jīng)網(wǎng)絡的文本分類分析 37次下載
- 神經(jīng)網(wǎng)絡與神經(jīng)網(wǎng)絡控制的學習課件免費下載 7次下載
- 神經(jīng)網(wǎng)絡的基本概念學習課件免費下載 5次下載
- 神經(jīng)網(wǎng)絡的復習資料免費下載 1次下載
- BP神經(jīng)網(wǎng)絡的簡單MATLAB實例免費下載 5次下載
- 快速了解神經(jīng)網(wǎng)絡與深度學習的教程資料免費下載 33次下載
- 《神經(jīng)網(wǎng)絡和深度學習》中文版電子教材免費下載 0次下載
- 殘差網(wǎng)絡是深度神經(jīng)網(wǎng)絡嗎 713次閱讀
- 神經(jīng)網(wǎng)絡優(yōu)化器有哪些 299次閱讀
- 什么是神經(jīng)網(wǎng)絡加速器?它有哪些特點? 232次閱讀
- 簡單認識深度神經(jīng)網(wǎng)絡 721次閱讀
- 深度神經(jīng)網(wǎng)絡(DNN)架構解析與優(yōu)化策略 581次閱讀
- 深度神經(jīng)網(wǎng)絡概述及其應用 334次閱讀
- 深度神經(jīng)網(wǎng)絡與基本神經(jīng)網(wǎng)絡的區(qū)別 307次閱讀
- 深度神經(jīng)網(wǎng)絡的設計方法 236次閱讀
- 神經(jīng)網(wǎng)絡優(yōu)化算法有哪些 270次閱讀
- 神經(jīng)網(wǎng)絡架構有哪些 324次閱讀
- 如何訓練和優(yōu)化神經(jīng)網(wǎng)絡 262次閱讀
- 詳解深度學習、神經(jīng)網(wǎng)絡與卷積神經(jīng)網(wǎng)絡的應用 1574次閱讀
- 深度神經(jīng)網(wǎng)絡的實現(xiàn)機理與決策邏輯難以理解 2800次閱讀
- 斯坦福探索深度神經(jīng)網(wǎng)絡可解釋性 決策樹是關鍵 4292次閱讀
- NVIDIA深度神經(jīng)網(wǎng)絡加速庫cuDNN軟件安裝教程 2222次閱讀
下載排行
本周
- 1HFSS電磁仿真設計應用詳解PDF電子教程免費下載
- 24.30 MB | 128次下載 | 1 積分
- 2雷達的基本分類方法
- 1.25 MB | 4次下載 | 4 積分
- 3電感技術講解
- 827.73 KB | 2次下載 | 免費
- 4從 MSP430? MCU 到 MSPM0 MCU 的遷移指南
- 1.17MB | 2次下載 | 免費
- 5有源低通濾波器設計應用說明
- 1.12MB | 2次下載 | 免費
- 6RA-Eco-RA2E1-48PIN-V1.0開發(fā)板資料
- 35.59 MB | 2次下載 | 免費
- 7面向熱插拔應用的 I2C 解決方案
- 685.57KB | 1次下載 | 免費
- 8愛普生有源晶體振蕩器SG3225EEN應用于儲能NPC、新能源
- 317.46 KB | 1次下載 | 免費
本月
- 12024年工控與通信行業(yè)上游發(fā)展趨勢和熱點解讀
- 2.61 MB | 763次下載 | 免費
- 2HFSS電磁仿真設計應用詳解PDF電子教程免費下載
- 24.30 MB | 128次下載 | 1 積分
- 3繼電保護原理
- 2.80 MB | 36次下載 | 免費
- 4正激、反激、推挽、全橋、半橋區(qū)別和特點
- 0.91 MB | 32次下載 | 1 積分
- 5labview實現(xiàn)DBC在界面加載配置
- 0.57 MB | 21次下載 | 5 積分
- 6在設計中使用MOSFET瞬態(tài)熱阻抗曲線
- 1.57MB | 15次下載 | 免費
- 7GBT 4706.1-2024家用和類似用途電器的安全第1部分:通用要求
- 7.43 MB | 14次下載 | 免費
- 8AD18學習筆記
- 14.47 MB | 8次下載 | 2 積分
總榜
- 1matlab軟件下載入口
- 未知 | 935113次下載 | 10 積分
- 2開源硬件-PMP21529.1-4 開關降壓/升壓雙向直流/直流轉換器 PCB layout 設計
- 1.48MB | 420061次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233084次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費下載
- 340992 | 191360次下載 | 10 積分
- 5十天學會AVR單片機與C語言視頻教程 下載
- 158M | 183329次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81578次下載 | 10 積分
- 7Keil工具MDK-Arm免費下載
- 0.02 MB | 73804次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65985次下載 | 10 積分
評論
查看更多