面向TTA架構ASIP設計的深度神經(jīng)網(wǎng)絡優(yōu)化論文免費下載

　　近年來，依托電子芯片技術的發(fā)展，神經(jīng)網(wǎng)絡的結構被設計得更深更大，以應對更加復雜和抽象的場景。隨之而來的問題是深府神經(jīng)網(wǎng)絡在訓練和推理都依托大規(guī)模的浮點運算實現(xiàn)，對存儲資源的占用和設備功耗的需求產(chǎn)生了很高的需求?；趥鬏斢|發(fā)架構（TransportTriggered Architecture，TTA）的專用指令集處理器（ApplicationSpecific Instruction Set Processor，ASIP）既能夠提供專用集成電路級別的高性能和低功耗，又能夠提供處理器級別的指令集靈活性，是解決該問題的途徑之一。

　　量化與加速是深度神經(jīng)網(wǎng)絡硬件實現(xiàn)時常用的兩項技術，卷積神經(jīng)網(wǎng)絡是最有代表性和最通用的深度神經(jīng)網(wǎng)絡。本文的主要工作即圍繞這兩項技術，進行面向TTA架構ASIP設計的卷積神經(jīng)網(wǎng)絡的優(yōu)化，具體內容包含以下兩個部分：

　　其一，本文針對基于TTA架構的神經(jīng)網(wǎng)絡ASIP的需求，提出了一套端到端完整的8比特量化方案。該方案結合權重、激活值和梯度的各自特點，為它們制定了相應的量化策略，包括了對稱仿射的權重量化、帶動態(tài)上限的激活值量化、變精度的梯度量化以及一種近似的批量歸一化算法。在多數(shù)據(jù)集、多模型結構的實驗中，該方案都取得了與全精度網(wǎng)絡相當?shù)木龋I先于部分當下常用的量化方案。

　　其二，本文將查找表資源融入到卷積運算中，提出了一種基于乘法結合律的卷積運算的加速方案。該方案針對面向TTA架構的量化卷積功能單元，提供了符合量化卷積特性的卷積核分塊、循環(huán)展開、數(shù)據(jù)交換規(guī)則，并展示了基于TTA架構的神經(jīng)網(wǎng)絡加速器的整體結構。對比傳統(tǒng)卷積方案，該方案緩解了有限的乘法器資源對于神經(jīng)網(wǎng)絡并行計算的限制，在并行度與計算能效比兩方面都有所提升。

　　本文中，量化方案是加速方案的基礎，加速方案是量化方案的補充，二者共同構成了本文的優(yōu)化工作，為基于TTA架構的深度神經(jīng)網(wǎng)絡的ASIP實現(xiàn)提供了支持。