深鑒科技基于FPGA技術(shù)的人工智能芯片設(shè)計(jì)

深鑒科技發(fā)明的人工智能芯片，結(jié)合了神經(jīng)網(wǎng)絡(luò)專用處理器和通用處理器的芯片結(jié)構(gòu)，不僅可以提供一個(gè)靈活的系統(tǒng)，并且可以適用于復(fù)雜的神經(jīng)網(wǎng)絡(luò)。

近年來，隨著人工智能領(lǐng)域的興起，越來越多的AI芯片公司出現(xiàn)在了人們的視野之中，AI芯片被廣泛應(yīng)用于金融、購物、安防、早教以及無人駕駛等領(lǐng)域。而這其中，深鑒科技也憑借著先進(jìn)的技術(shù)在市場中嶄露頭角。

深鑒科技的AI芯片基于FPGA設(shè)計(jì)，其設(shè)計(jì)的亞里士多德架構(gòu)是針對(duì)卷積神經(jīng)網(wǎng)絡(luò)而設(shè)計(jì)的，其設(shè)計(jì)的笛卡爾架構(gòu)是專為處理DNN/RNN網(wǎng)絡(luò)而設(shè)計(jì)的，可對(duì)經(jīng)過結(jié)構(gòu)壓縮后的稀疏神經(jīng)網(wǎng)絡(luò)進(jìn)行極致高效的硬件加速。

在人工智能領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)尤其在圖像處理領(lǐng)域有著非常廣泛的應(yīng)用，其具有訓(xùn)練方法簡單、計(jì)算結(jié)構(gòu)統(tǒng)一的特點(diǎn)。但是神經(jīng)網(wǎng)絡(luò)存儲(chǔ)計(jì)算量都很大。工程師們?cè)噲D在FPGA上搭建或者直接設(shè)計(jì)專用芯片來實(shí)現(xiàn)人工智能芯片，但是，這種專用神經(jīng)網(wǎng)絡(luò)加速器的硬件還是不夠靈活，且能夠完成的任務(wù)較為單一。

為了解決這樣的問題，深鑒科技在16年8月19日申請(qǐng)了一項(xiàng)名為“通用處理器與神經(jīng)網(wǎng)絡(luò)處理器的協(xié)同系統(tǒng)設(shè)計(jì)”的發(fā)明專利（申請(qǐng)?zhí)枺?01610695285.4），申請(qǐng)人為北京深鑒科技有限公司。

根據(jù)該專利目前公開的資料，讓我們一起來看看這項(xiàng)人工智能芯片專利吧。

如上圖，為把人工神經(jīng)網(wǎng)絡(luò)模型部署在專用硬件上的流程示意圖，這是一套為了加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程，從優(yōu)化流程的硬件架構(gòu)的角度提出了一整套的技術(shù)方案，其中顯示了如何壓縮CNN模型以減少內(nèi)存占用和操作數(shù)量，同時(shí)最大限度地減少精度損失。

這種硬件架構(gòu)包括PS和PL兩個(gè)模塊，其中：PS為通用處理系統(tǒng)，其中包含有CPU和外部存儲(chǔ)器；PL為可編程邏輯模塊，其中包含有DMA、計(jì)算核、輸入輸出緩沖以及控制器等。計(jì)算核包括多個(gè)處理單元，其負(fù)責(zé)在人工智能網(wǎng)絡(luò)的卷積層以及全連接層的大多數(shù)計(jì)算任務(wù)，是實(shí)現(xiàn)人工智能芯片的核心部件。

值得一提的是，在這種架構(gòu)中，雖然DMA分布在PL一側(cè)，但是卻直接被CPU所控制，并且將數(shù)據(jù)從外部存儲(chǔ)區(qū)內(nèi)搬運(yùn)到PL中。同時(shí)，這種硬件架構(gòu)僅僅是進(jìn)行了功能上的劃分，PL和PS之間的界限并不絕對(duì)，例如PL和CPU都可以僅僅實(shí)現(xiàn)在SOC上，而外部存儲(chǔ)器可以由另一個(gè)存儲(chǔ)器芯片實(shí)現(xiàn)并于SOC芯片中的CPU相連接。

如上圖為優(yōu)化人工神經(jīng)網(wǎng)絡(luò)的整體流程圖，首先要對(duì)于模型進(jìn)行壓縮，壓縮可以對(duì)CNN模型進(jìn)行修剪，而網(wǎng)絡(luò)修剪是一種有效的方法，可以減少網(wǎng)絡(luò)的復(fù)雜性和過度擬合。其次，進(jìn)行數(shù)據(jù)定點(diǎn)量化，目的是為了將浮點(diǎn)數(shù)轉(zhuǎn)換為定點(diǎn)數(shù)的同時(shí)得到最高精度。

之后再通過編譯，通過這樣的結(jié)構(gòu)設(shè)計(jì)得到人工神經(jīng)網(wǎng)絡(luò)加速器，從而可以做到輸入圖像、語音、文字，即可輸出識(shí)別的結(jié)果。這樣進(jìn)行精簡后的結(jié)構(gòu)有利于硬件設(shè)計(jì)，同時(shí)省去了較為復(fù)雜的運(yùn)算，進(jìn)一步提高了人工智能芯片進(jìn)行運(yùn)算的效率。

如上圖，為使用CPU和專用加速器的協(xié)同設(shè)計(jì)來實(shí)現(xiàn)人工神經(jīng)網(wǎng)絡(luò)的硬件架構(gòu)，在這種硬件架構(gòu)中，CPU控制DMA，由DMA來負(fù)責(zé)調(diào)度數(shù)據(jù)，具體而言，CPU可以控制DMA將外部存儲(chǔ)器中的指令搬運(yùn)到FIFO（緩沖器）中，隨后，這種為神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的加速器從FIFO中取出指令并執(zhí)行。

在運(yùn)行的時(shí)候，CPU需要時(shí)刻監(jiān)控DMA的狀態(tài)：當(dāng)輸入緩沖區(qū)的數(shù)據(jù)未滿時(shí)，需要把數(shù)據(jù)從DDR中搬運(yùn)到輸入緩沖區(qū)中；當(dāng)輸出緩沖區(qū)不為空時(shí)，需要將數(shù)據(jù)從輸出緩沖區(qū)中搬運(yùn)回DDR中。

此外，這種結(jié)構(gòu)中使用的專用加速器包括：控制器、計(jì)算核以及緩沖區(qū)，計(jì)算核包括卷機(jī)器、加法器樹和非線性模塊，這些結(jié)構(gòu)保證了人工智能芯片完成深度神經(jīng)網(wǎng)絡(luò)的運(yùn)算，從而可以完成不同的復(fù)雜的人工智能任務(wù)。

以上就是深鑒科技發(fā)明的人工智能芯片，這種結(jié)合神經(jīng)網(wǎng)絡(luò)專用處理器和通用處理器的芯片結(jié)構(gòu)，可以為人工智能應(yīng)用提供一個(gè)靈活的系統(tǒng)，并能夠適用于復(fù)雜的神經(jīng)網(wǎng)絡(luò)。并且該方案實(shí)現(xiàn)了控制器與存儲(chǔ)器的分離，控制器和存儲(chǔ)器可以使用不同的SOC芯片完成，進(jìn)而保證了系統(tǒng)的穩(wěn)定性。

關(guān)于嘉德

深圳市嘉德知識(shí)產(chǎn)權(quán)服務(wù)有限公司由曾在華為等世界500強(qiáng)企業(yè)工作多年的知識(shí)產(chǎn)權(quán)專家、律師、專利代理人組成，熟悉中歐美知識(shí)產(chǎn)權(quán)法律理論和實(shí)務(wù)，在全球知識(shí)產(chǎn)權(quán)申請(qǐng)、布局、訴訟、許可談判、交易、運(yùn)營、標(biāo)準(zhǔn)專利協(xié)同創(chuàng)造、專利池建設(shè)、展會(huì)知識(shí)產(chǎn)權(quán)、跨境電商知識(shí)產(chǎn)權(quán)、知識(shí)產(chǎn)權(quán)海關(guān)保護(hù)等方面擁有豐富的經(jīng)驗(yàn)。
責(zé)任編輯:tzh