關(guān)于AI芯片的新動(dòng)向分析和應(yīng)用

在人工智能（AI）領(lǐng)域，由于具有先天技術(shù)和應(yīng)用優(yōu)勢(shì)，英偉達(dá)和谷歌幾乎占據(jù)了AI處理器領(lǐng)域80%的市場(chǎng)份額，其他廠商，如英特爾、特斯拉、ARM、IBM以及Cadence等，也在人工智能處理器領(lǐng)域占有一席之地。最近幾年，我國(guó)國(guó)內(nèi)也涌現(xiàn)出了一批AI芯片公司，如地平線、深鑒科技、中科寒武紀(jì)等。

從應(yīng)用場(chǎng)景看，AI芯片主要有兩類，一是部署在以數(shù)據(jù)中心為代表的云端，其特點(diǎn)是高性能，功耗隨之也偏高；另一個(gè)是部署在消費(fèi)級(jí)和物聯(lián)網(wǎng)的終端，其最大特點(diǎn)就是低功耗。

目前，AI芯片的大規(guī)模應(yīng)用場(chǎng)景主要還是在云端。在云端，互聯(lián)網(wǎng)巨頭已經(jīng)成為了事實(shí)上的生態(tài)主導(dǎo)者，因?yàn)?a href="http://srfitnesspt.com/v/tag/475/" target="_blank">云計(jì)算本來(lái)就是巨頭的戰(zhàn)場(chǎng)，現(xiàn)在所有開(kāi)源AI框架也都是這些巨頭發(fā)布的。在這樣一個(gè)生態(tài)已經(jīng)固化的環(huán)境中，留給創(chuàng)業(yè)公司的空間實(shí)際已經(jīng)消失。

而在終端上，由于還沒(méi)有一統(tǒng)天下的事實(shí)標(biāo)準(zhǔn)，芯片廠商可以八仙過(guò)海各顯神通。目前，AI芯片在終端的應(yīng)用場(chǎng)景主要還是手機(jī)，各大手機(jī)處理器廠商都在打AI牌，生怕錯(cuò)過(guò)了熱點(diǎn)。

而隨著5G和物聯(lián)網(wǎng)的成熟，廣闊的市場(chǎng)空間，為終端側(cè)的AI芯片應(yīng)用提供了巨大的機(jī)遇，而由于物聯(lián)網(wǎng)終端數(shù)量巨大，應(yīng)用場(chǎng)景繁多，而所有終端幾乎都有一個(gè)共同的需求和特點(diǎn)，那就是低功耗，從而使其能長(zhǎng)時(shí)間的穩(wěn)定工作，不需要人為干預(yù)和維護(hù)，以降低運(yùn)營(yíng)維護(hù)成本。

云端AI芯片已經(jīng)被各大巨頭把控，而終端側(cè)又有著巨大的發(fā)展空間，這使得產(chǎn)學(xué)研各界的眾多企業(yè)和科研機(jī)構(gòu)在最近兩年紛紛投入人力和財(cái)力，進(jìn)行低功耗AI芯片的研發(fā)，以期在競(jìng)爭(zhēng)中占得先機(jī)。

VLSI 2018上的中國(guó)風(fēng)

前些天，在美國(guó)檀香山召開(kāi)的2018 國(guó)際超大規(guī)模集成電路研討會(huì)（2018 Symposia on VLSI Technology and Circuits，簡(jiǎn)稱 VLSI）上，我國(guó)清華大學(xué)Thinker團(tuán)隊(duì)發(fā)表了兩款極低功耗AI 芯片（Thinker-II 和 Thinker-S）的相關(guān)論文，以及一種支持多種稀疏度網(wǎng)絡(luò)和線上可調(diào)節(jié)功能的人工神經(jīng)網(wǎng)絡(luò)處理器STICKER。

之所以推出以上3款A(yù)I芯片，主要基于以下行業(yè)背景和需求：深度學(xué)習(xí)的突破性發(fā)展帶動(dòng)了機(jī)器視覺(jué)、語(yǔ)音識(shí)別以及自然語(yǔ)言處理等領(lǐng)域的進(jìn)步，然而，由于深度神經(jīng)網(wǎng)絡(luò)巨大的存儲(chǔ)開(kāi)銷和計(jì)算需求，功耗成為 Deploy AI Everywhere 的主要障礙，人工智能算法在移動(dòng)設(shè)備、可穿戴設(shè)備和 IoT 設(shè)備中的廣泛應(yīng)用受到了制約。

為克服上述瓶頸，清華大學(xué) Thinker 團(tuán)隊(duì)對(duì)神經(jīng)網(wǎng)絡(luò)低位寬量化方法、計(jì)算架構(gòu)和電路實(shí)現(xiàn)進(jìn)行了系統(tǒng)研究，提出了支持低位寬網(wǎng)絡(luò)高能效計(jì)算的可重構(gòu)架構(gòu)，設(shè)計(jì)了神經(jīng)網(wǎng)絡(luò)通用計(jì)算芯片Thinker-II和語(yǔ)音識(shí)別芯片Thinker-S。Thinker-II 芯片運(yùn)行在 200MHz 時(shí)，其功耗僅為10mW；Thinker-S芯片的最低功耗為141微瓦，其峰值能效達(dá)到90TOPs/W。這兩款芯片有望在電池供電設(shè)備和自供能IoT設(shè)備中廣泛應(yīng)用。

Thinker-S

Thinker-S中設(shè)計(jì)了一種基于二值卷積神經(jīng)網(wǎng)絡(luò)和用戶自適應(yīng)的語(yǔ)音識(shí)別框架，同時(shí)利用語(yǔ)音信號(hào)處理的特點(diǎn)，提出了時(shí)域數(shù)據(jù)復(fù)用、近似計(jì)算和權(quán)值規(guī)整化等優(yōu)化技術(shù)，大幅度優(yōu)化了神經(jīng)網(wǎng)絡(luò)推理計(jì)算。Thinker-S 芯片采用 28nm 工藝，單次推理計(jì)算中每個(gè)神經(jīng)元上消耗的能量最低僅為 2.46 皮焦。

圖：Thinker-S 芯片架構(gòu)

Thinker-Ⅱ

該芯片中設(shè)計(jì)了兩種二值/三值卷積優(yōu)化計(jì)算方法及硬件架構(gòu)，大幅降低了算法復(fù)雜度、有效去除了冗余計(jì)算。此外，針對(duì)由稀疏化帶來(lái)的負(fù)載不均衡問(wèn)題，設(shè)計(jì)了層次化均衡調(diào)度機(jī)制，通過(guò)軟硬件協(xié)同的兩級(jí)任務(wù)調(diào)度，有效提升了資源利用率。Thinker-II 芯片采用 28nm 工藝，通過(guò)架構(gòu)和電路級(jí)重構(gòu)，支持神經(jīng)網(wǎng)絡(luò)通用計(jì)算。

圖：Thinker-II 芯片架構(gòu)

STICKER神經(jīng)網(wǎng)絡(luò)加速器

通過(guò)動(dòng)態(tài)配置人工智能芯片的運(yùn)算和存儲(chǔ)電路，實(shí)現(xiàn)了對(duì)不同稀疏度神經(jīng)網(wǎng)絡(luò)的自適應(yīng)處理，大幅提升了人工智能加速芯片的能量效率。該論文作為人工智能處理器分會(huì)場(chǎng)的首篇論文，得到了本屆VLSI技術(shù)委員會(huì)的高度認(rèn)可，一同入選的論文還包含了IBM, Intel, Renesas等公司的相關(guān)工作。

圖：STICKER神經(jīng)網(wǎng)絡(luò)加速器硬件架構(gòu)

據(jù)悉，STICKER是世界首款全面支持不同稀疏程度網(wǎng)絡(luò)，且同時(shí)支持片上網(wǎng)絡(luò)參數(shù)微調(diào)的神經(jīng)網(wǎng)絡(luò)加速芯片。通過(guò)片上自適應(yīng)編碼器、多模態(tài)計(jì)算單元以及多組相連存儲(chǔ)架構(gòu)技術(shù)，實(shí)現(xiàn)了針對(duì)不同稀疏程度神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)高效處理，大幅提升能量效率，并減少芯片面積。針對(duì)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)加速器無(wú)法片上調(diào)整網(wǎng)絡(luò)參數(shù)以適應(yīng)物聯(lián)網(wǎng)應(yīng)用場(chǎng)景中目標(biāo)及環(huán)境多變的問(wèn)題，首次使用了片上微調(diào)稀疏神經(jīng)網(wǎng)絡(luò)參數(shù)的技術(shù)，以極低的開(kāi)銷實(shí)現(xiàn)片上神經(jīng)網(wǎng)絡(luò)參數(shù)的自適應(yīng)調(diào)整。相比于傳統(tǒng)加速器，該工作極限能效高達(dá)62.1 TOPS/W（為目前有報(bào)道的8bit人工智能處理器的最高值）。

圖：Sticker芯片照片

KAIST的DNPU

韓國(guó)科學(xué)技術(shù)院KAIST的Dongjoo Shin等人在ISSCC 2017上提出了一個(gè)針對(duì)CNN和RNN結(jié)構(gòu)可配置的加速器單元DNPU，除了包含一個(gè)RISC核之外，還包括了一個(gè)針對(duì)卷積層操作的計(jì)算陣列CP和一個(gè)針對(duì)全連接層RNN-LSTM操作的計(jì)算陣列FRP，DNPU支持CNN和RNN結(jié)構(gòu)，能效比高達(dá)8.1TOPS/W。該芯片采用了65nm CMOS工藝。

ENVISION

比利時(shí)魯汶大學(xué)的Bert Moons等在2017年IEEE ISSCC上提出了能效比高達(dá)10.0TOPs/W的、針對(duì)卷積神經(jīng)網(wǎng)絡(luò)加速的芯片ENVISION，該芯片采用28nm FD-SOI技術(shù)，包括一個(gè)16位的RISC處理器核，1D-SIMD處理單元進(jìn)行ReLU和Pooling操作，2D-SIMD MAC陣列處理卷積層和全連接層的操作，還有128KB的片上存儲(chǔ)器。

SCALLDEEP

普渡大學(xué)的Venkataramani S等人在計(jì)算機(jī)體系結(jié)構(gòu)頂級(jí)會(huì)議ISCA 2017上提出了針對(duì)大規(guī)模神經(jīng)網(wǎng)絡(luò)訓(xùn)練的人工智能處理器SCALLDEEP。

該論文針對(duì)深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練部分進(jìn)行針對(duì)性優(yōu)化，提出了一個(gè)可擴(kuò)展服務(wù)器架構(gòu)，且深入分析了深度神經(jīng)網(wǎng)絡(luò)中卷積層，采樣層，全連接層等在計(jì)算密集度和訪存密集度方面的不同，設(shè)計(jì)了兩種處理器core架構(gòu)，計(jì)算密集型的任務(wù)放在了comHeavy核中，包含大量的2D乘法器和累加器部件，而對(duì)于訪存密集型任務(wù)則放在了memHeavy核中，包含大量SPM存儲(chǔ)器和tracker同步單元，既可以作為存儲(chǔ)單元使用，又可以進(jìn)行計(jì)算操作，包括ReLU，tanh等。

論文作者針對(duì)深度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)了編譯器，完成網(wǎng)絡(luò)映射和代碼生成，同時(shí)設(shè)計(jì)了設(shè)計(jì)空間探索的模擬器平臺(tái)，可以進(jìn)行性能和功耗的評(píng)估，性能則得益于時(shí)鐘精確級(jí)的模擬器，功耗評(píng)估則從DC中提取模塊的網(wǎng)表級(jí)的參數(shù)模型。該芯片采用了Intel 14nm工藝進(jìn)行了綜合和性能評(píng)估，峰值能效比高達(dá)485.7GOPS/W。

Myriad X

英特爾為了加強(qiáng)在人工智能芯片領(lǐng)域的實(shí)力，收購(gòu)了機(jī)器視覺(jué)公司Movidius。

Movidius在2017年推出了Myriad X，這是一款視覺(jué)處理器(VPU，visionprocessing unit)，是一款低功耗的SoC，用于在基于視覺(jué)的設(shè)備上加速深度學(xué)習(xí)和人工智能——如無(wú)人機(jī)、智能相機(jī)和VR / AR頭盔。

Myriad X是全球第一個(gè)配備專用神經(jīng)網(wǎng)絡(luò)計(jì)算引擎的片上系統(tǒng)芯片（SoC），用于加速設(shè)備端的深度學(xué)習(xí)推理計(jì)算。該神經(jīng)網(wǎng)絡(luò)計(jì)算引擎是芯片上集成的硬件模塊，專為高速、低功耗且不犧牲精確度地運(yùn)行基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)而設(shè)計(jì)，讓設(shè)備能夠?qū)崟r(shí)地看到、理解和響應(yīng)周圍環(huán)境。引入該神經(jīng)計(jì)算引擎之后，Myriad X架構(gòu)能夠?yàn)榛谏疃葘W(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)推理提供1TOPS的計(jì)算性能。

百花齊放

一些傳統(tǒng)AI服務(wù)廠商將自己的服務(wù)進(jìn)行垂直拓展，比如的自然語(yǔ)音處理廠商云知聲從自己的傳統(tǒng)語(yǔ)音業(yè)務(wù)出發(fā)，開(kāi)發(fā)了UniOne語(yǔ)音AI芯片，用于物聯(lián)網(wǎng)IoT設(shè)備。

相對(duì)于語(yǔ)音市場(chǎng)，安防更是一個(gè)AI芯片扎堆的大產(chǎn)業(yè)，如果可以將自己的芯片置入攝像頭，是一個(gè)不錯(cuò)的場(chǎng)景，也是很好的生意。包括云天勵(lì)飛、海康威視等廠商都在大力開(kāi)發(fā)安防領(lǐng)域的AI嵌入式芯片，而且已經(jīng)完成了一定的商業(yè)化部署。

AI芯片發(fā)展趨勢(shì)

在計(jì)算機(jī)體系結(jié)構(gòu)頂級(jí)會(huì)議ISSCC 2018，“Digital Systems: Digital Architectures and Systems”分論壇主席Byeong-GyuNam對(duì)AI芯片，特別是深度學(xué)習(xí)芯片的發(fā)展趨勢(shì)做了概括，去年，大多數(shù)論文都在討論卷積神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)問(wèn)題，今年則更加關(guān)注兩個(gè)問(wèn)題：一，如果更高效地實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)，特別是針對(duì)手持終端等設(shè)備；二，關(guān)于全連接的非卷積神經(jīng)網(wǎng)絡(luò)，如RNN和LSTM。

為了獲得更高的能效比，越來(lái)越多的研究者把精力放在了低精度神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)和實(shí)現(xiàn)上，如1bit的神經(jīng)網(wǎng)絡(luò)。這些新技術(shù)使深度學(xué)習(xí)加速器的能效比從去年的幾十TOPS/W提升到了今年的上百TOPS/W。有些研究者也對(duì)數(shù)字+模擬的混合信號(hào)處理實(shí)現(xiàn)方案進(jìn)行了研究。對(duì)數(shù)據(jù)存取具有較高要求的全連接網(wǎng)絡(luò)，有些研究者則借助3D封裝技術(shù)來(lái)獲得更好的性能。

總之，AI芯片在終端側(cè)的發(fā)展?jié)摿薮?，且?yīng)用場(chǎng)景眾多，品類也多，這就更適合眾多初創(chuàng)的、中小規(guī)模AI芯片企業(yè)的胃口。相信隨著5G和物聯(lián)網(wǎng)的大面積鋪開(kāi)，低功耗AI芯片將是未來(lái)的主要發(fā)展方向，只要相關(guān)標(biāo)準(zhǔn)能夠確定，則商機(jī)無(wú)限。