知存科技致力于開(kāi)發(fā)的基于NOR Flash的存算一體化人工智能芯片,其芯片特點(diǎn)是能耗低、運(yùn)算效率高、速度快和成本低,適用于終端設(shè)備的人工智能應(yīng)用。
知存科技演講實(shí)錄
知存科技是一家剛剛成立半年的公司,今年3月份正式運(yùn)營(yíng),專注于開(kāi)發(fā)低功耗低成本的存算一體AI芯片。
人工智能目前還處于發(fā)展階段,當(dāng)前的落地的應(yīng)用場(chǎng)景較少,沒(méi)有達(dá)到社會(huì)的期望。隨著人工智能算法的進(jìn)步以及芯片算力的提升,未來(lái)人工智能將會(huì)出現(xiàn)一個(gè)更大的爆發(fā)點(diǎn),會(huì)涌現(xiàn)更多的應(yīng)用落地。
人工智能芯片作為人工智能的載體,被大家寄予厚望,在2020年,人工智能芯片市場(chǎng)預(yù)計(jì)達(dá)到千億量級(jí)。傳統(tǒng)芯片巨頭比如arm、Intel、NVIDIA都通過(guò)自研和收購(gòu)?fù)瞥隽藬?shù)款芯片,互聯(lián)網(wǎng)巨頭比如Google、亞馬遜和微軟等也都正推出和開(kāi)發(fā)的人工智能芯片。這個(gè)領(lǐng)域的創(chuàng)業(yè)公司就更多了,中國(guó)的幾家頭部公司就做得非常好。
人工智能依賴的算法有幾大特點(diǎn):這是一個(gè)很龐大和復(fù)雜的網(wǎng)絡(luò),有很多參數(shù)要存儲(chǔ),也需要完成大量的計(jì)算,這些計(jì)算當(dāng)中又會(huì)產(chǎn)生大量數(shù)據(jù)。為了完成大量計(jì)算的過(guò)程當(dāng)中,一般芯片的設(shè)計(jì)思路是將大量增加并行的運(yùn)算單元,比如上千個(gè)卷積單元,需要調(diào)用的存儲(chǔ)資源也在增大,然而存儲(chǔ)資源一直是有限的。隨著運(yùn)算單元的增加,每個(gè)運(yùn)算單元能夠使用的存儲(chǔ)器的帶寬和大小在逐漸減小,存儲(chǔ)器是人工智能芯片的瓶頸。
在很多人工智能推理運(yùn)算中,90%以上的運(yùn)算資源都消耗在數(shù)據(jù)搬運(yùn)的過(guò)程。芯片內(nèi)部到外部的帶寬以及片上緩存空間限制了運(yùn)算的效率。現(xiàn)在工業(yè)界和學(xué)術(shù)界很多人都認(rèn)為存算一體化是未來(lái)的趨勢(shì)。
存算一體化分為幾種:DRAM和SSD中植入計(jì)算芯片或者邏輯計(jì)算單元,可以被叫做存內(nèi)處理或者近數(shù)據(jù)計(jì)算,這種方式非常適合云端的大數(shù)據(jù)和神經(jīng)網(wǎng)絡(luò)訓(xùn)練等應(yīng)用;另一種就是存儲(chǔ)和計(jì)算完全結(jié)合在一起,使用存儲(chǔ)的器件單元直接完成計(jì)算,比較適合神經(jīng)網(wǎng)絡(luò)推理類應(yīng)用。我們研發(fā)的是后者這樣的技術(shù),將存儲(chǔ)和計(jì)算結(jié)合到閃存單元中的存算一體。閃存技術(shù)已經(jīng)非常成熟,商用幾十年了,成本很低。
當(dāng)前商用的神經(jīng)網(wǎng)絡(luò)非常龐大,擁有幾百萬(wàn)到幾千萬(wàn)的權(quán)重參數(shù),或者推理過(guò)程中需要完成幾百萬(wàn)到上千萬(wàn)個(gè)乘加法運(yùn)算。傳統(tǒng)的計(jì)算系統(tǒng)需要將網(wǎng)絡(luò)權(quán)重參數(shù)存在片外的非易失性存儲(chǔ)器中,比如NAND Flash或者NOR Flash。運(yùn)算的過(guò)程中,需要把部分需要的權(quán)重參數(shù)搬運(yùn)到DRAM,再把小部分參數(shù)傳入到芯片中的SRAM和eDRAM中,之后導(dǎo)入寄存器和運(yùn)算單元完成運(yùn)算。神經(jīng)網(wǎng)絡(luò)運(yùn)算需要大面積SRAM和eDRAM來(lái)減少片內(nèi)外數(shù)據(jù)搬運(yùn)和提高運(yùn)算效率,但是由于片上存儲(chǔ)成本的限制,也需要高成本高速度的DRAM來(lái)緩存片上無(wú)法容納的權(quán)重參數(shù)和臨時(shí)數(shù)據(jù)。
我們存算一體化的做法是這樣的:我們的Flash存儲(chǔ)單元本身就可以存儲(chǔ)神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù),同時(shí)又可以完成和此權(quán)重相關(guān)的乘加法運(yùn)算,就是將乘加法運(yùn)算和存儲(chǔ)全部融合到一個(gè)Flash單元里面。舉個(gè)例子,只需要100萬(wàn)個(gè)Flash單元,就可以存儲(chǔ)100萬(wàn)個(gè)權(quán)重參數(shù)同時(shí)并行完成100萬(wàn)次乘加法運(yùn)算。我們做的是這樣一款芯片,深度學(xué)習(xí)網(wǎng)絡(luò)被映射到多個(gè)Flash陣列,這些Flash陣列不僅存儲(chǔ)和深度學(xué)習(xí)網(wǎng)絡(luò)同時(shí)完成網(wǎng)絡(luò)的推理,這個(gè)過(guò)程不需要邏輯計(jì)算電路。這種方式的運(yùn)算效率非常高,成本很低,單個(gè)Flash單元能夠完成7、8 bit的乘加法運(yùn)算。
之前我們說(shuō)我們芯片有兩個(gè)特點(diǎn):一個(gè)是運(yùn)算效率高,相比于現(xiàn)在基于馮諾依曼架構(gòu)的深度學(xué)習(xí)芯片,大概能夠提高運(yùn)算效率10-50倍;另一個(gè)是產(chǎn)品成本低,節(jié)省了DRAM、SRAM、片上并行計(jì)算單元的面積消耗,簡(jiǎn)化了系統(tǒng)的設(shè)計(jì),同時(shí)無(wú)需采用先進(jìn)的芯片加工工藝,可以數(shù)倍地降低生產(chǎn)成本,幾十倍地降低流片和研發(fā)成本。當(dāng)前階段,我們尋找的是對(duì)成本和運(yùn)算效率(功耗)敏感的應(yīng)用,比如終端的低功耗低成本的語(yǔ)音識(shí)別應(yīng)用。未來(lái),隨著人工智能和物聯(lián)網(wǎng)的發(fā)展,我們會(huì)拓展更多的應(yīng)用場(chǎng)景,比如說(shuō)低成本和低功耗的感知應(yīng)用和人機(jī)交互。
2014年,我們開(kāi)始在加州大學(xué)圣芭芭拉分校的實(shí)驗(yàn)室做這項(xiàng)技術(shù)的研發(fā),完成過(guò)6次流片和技術(shù)驗(yàn)證。去年年末在北京注冊(cè)的公司,今年3月份正式開(kāi)始運(yùn)營(yíng),僅僅5個(gè)月的時(shí)間我們就把設(shè)計(jì)送出去流片,順利的話,過(guò)3-4個(gè)月就會(huì)完成芯片測(cè)試,爭(zhēng)取明年量產(chǎn)。我們的團(tuán)隊(duì)畢業(yè)于北京大學(xué)、北京航空航天大學(xué)、美國(guó)加州大學(xué)洛杉磯分校,加州大學(xué)圣芭芭拉分校等學(xué)校。核心團(tuán)隊(duì)成員大部分都有十年以上的行業(yè)經(jīng)驗(yàn),團(tuán)隊(duì)目前有11個(gè)人,年末也會(huì)擴(kuò)大團(tuán)隊(duì)規(guī)模。
乘法計(jì)算的方式是通過(guò)類似模擬電路的電流鏡方式。輸入電流轉(zhuǎn)換成電壓耦合到Flash晶體管的控制柵上,F(xiàn)lash晶體管的輸出電流等于輸入電流和存儲(chǔ)的權(quán)重相乘。加法的計(jì)算方式類似于并聯(lián)電路電流求和。
怎么看待Intel新的X Point技術(shù)?
這是一項(xiàng)很新的技術(shù),目前主要問(wèn)題是成本和系統(tǒng)支持度的問(wèn)題,但隨著產(chǎn)業(yè)鏈的發(fā)展,成本會(huì)越來(lái)越低,速度也會(huì)更快,系統(tǒng)也會(huì)更好的支持X-Point兼有的高速和非易失性的特性。這項(xiàng)技術(shù)的selector做得很好。作為存儲(chǔ)器、內(nèi)存或者他們的統(tǒng)一體這類應(yīng)用來(lái)說(shuō),未來(lái)成本降低之后,會(huì)有非常大的優(yōu)勢(shì)。Intel在這個(gè)技術(shù)的市場(chǎng)推廣上也投入很多精力,其他后來(lái)者可能會(huì)坐享其成。
北京知存科技有限公司成立于2017年10月,專注于開(kāi)發(fā)基于存算一體的人工智能芯片和系統(tǒng)。公司通過(guò)自主研發(fā)的核心技術(shù)將計(jì)算和存儲(chǔ)融合在NOR Flash存儲(chǔ)芯片中,大幅度提高運(yùn)算的并行讀,提升人工智能核心運(yùn)算效率多個(gè)數(shù)量級(jí)。該設(shè)計(jì)方法還簡(jiǎn)化了芯片設(shè)計(jì)架構(gòu),節(jié)省了內(nèi)存、緩存和神將網(wǎng)絡(luò)加速器模塊的支出,顯著地降低了芯片成本。當(dāng)前公司正在流片的是面向終端設(shè)備的低功耗語(yǔ)音識(shí)別芯片。公司將長(zhǎng)期致力于深入研發(fā)和優(yōu)化存算一體化技術(shù),將之應(yīng)用于廣闊的人工智能應(yīng)用場(chǎng)景中。
-
芯片
+關(guān)注
關(guān)注
452文章
50027瀏覽量
419847 -
存儲(chǔ)器
+關(guān)注
關(guān)注
38文章
7408瀏覽量
163431 -
人工智能
+關(guān)注
關(guān)注
1789文章
46401瀏覽量
236644 -
存算一體
+關(guān)注
關(guān)注
0文章
99瀏覽量
4270
原文標(biāo)題:五期Demo Day路演回顧 | 知存科技:讓AI設(shè)備無(wú)所不在
文章出處:【微信號(hào):ARMaccelerator,微信公眾號(hào):安創(chuàng)空間ARMaccelerator】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論