新的芯片架構(gòu)和技術(shù)

當下，邊緣側(cè)AI應(yīng)用需求越來越迫切，帶動著相應(yīng)的AI推理芯片向前發(fā)展。所謂邊緣側(cè)AI，是指在端側(cè)設(shè)備本身，而不是在云端或大型數(shù)據(jù)中心服務(wù)器上運行AI推理，這樣做具有多種益處，例如消除了處理延遲，減少了數(shù)據(jù)傳輸量和帶寬，并且還可以增加隱私安全。鑒于這種優(yōu)勢，邊緣AI芯片市場的增長非常顯著——2017年，市場才出現(xiàn)第一款商用企業(yè)邊緣AI芯片，據(jù)德勤預計，2020年，邊緣AI芯片銷量將超過7.5億個。

2018年，全球人工智能芯片市場規(guī)模為66.4億美元，預計未來幾年將大幅增長，到2025年將達到911.9億美元，年復合增長率為45.2%。因此，許多公司都在努力開發(fā)人工智能芯片。然而，類似于CPU、GPU和基帶處理器市場的成長過程，AI芯片市場也在經(jīng)歷著由少數(shù)大型玩家主導的命運。

在人工智能芯片市場競爭的公司，從英特爾、高通、Arm和Nvidia等芯片巨頭，到傳統(tǒng)的互聯(lián)網(wǎng)科技巨頭，以及眾多新興企業(yè)，如Graphcore、Mythic和Wave Computing。目前，絕大多數(shù)（90%）邊緣 AI 芯片用于消費類設(shè)備，許多智能手機制造商也沒有錯過這個機會，開發(fā)了自己的AI加速器，例如，蘋果用于iPhone的8核神經(jīng)引擎。

目前，邊緣AI芯片市場仍處于較為開放的競爭狀態(tài)，還沒有絕對的霸主。業(yè)內(nèi)人士和投資者都在密切關(guān)注那些技術(shù)和產(chǎn)品力突出的公司。該領(lǐng)域?qū)⒉豢杀苊獾赝ㄟ^投資、收購和優(yōu)勝劣汰向前發(fā)展。未來幾年內(nèi)，可能會出現(xiàn)市場領(lǐng)導者，那么，誰將成為邊緣AI芯片領(lǐng)域的英特爾或高通呢？

在廣義層面，AI芯片的領(lǐng)跑者是英特爾和英偉達（Nvidia）。目前，英特爾的CPU在AI推理市場占據(jù)主導地位，而Nvidia則主導著AI訓練芯片市場。然而，相對于英特爾，Nvidia似乎更勝一籌，在數(shù)據(jù)中心AI芯片市場處于領(lǐng)先地位。為了趕超對手，英特爾不斷通過收購相關(guān)的AI芯片初創(chuàng)企業(yè)來提升技術(shù)能力，就在2019年12月，英特爾以20億美元收購了以色列的深度學習加速器開發(fā)商Habana。

Habana的Goya加速器確實有獨到之處，其技術(shù)很新穎，例如支持遠程直接內(nèi)存訪問 （RDMA），即從一臺計算機的內(nèi)存直接訪問到另一臺計算機的內(nèi)存，而無需使用任一計算機的操作系統(tǒng)。此功能特別適用于大規(guī)模并行計算機集群，從而用于在云上訓練復雜模型（目前，Nvidia在該領(lǐng)域占主導地位）。另一方面，Nvidia 最近發(fā)布了其 Jetson Xavier NX 邊緣AI芯片，其算力高達21TOPS，特別是針對AI推理。

此外，一些AI芯片新星也很吸睛，如英國的Graphcore，最近，該公司與微軟合作，以19.5億美元的估值融資1500萬美元。他們的旗艦產(chǎn)品 - 智能處理單元（IPU） - 具有極強的性能指標和新穎的架構(gòu)，例如，使用處理器內(nèi)內(nèi)存將整個 ML 模型放在處理器內(nèi)，以最大限度地減少延遲并最大化內(nèi)存帶寬。

另外一家初創(chuàng)企業(yè)Mythic 的體系結(jié)構(gòu)同樣值得關(guān)注，它結(jié)合了硬件技術(shù)，如內(nèi)存計算（無需構(gòu)建緩存層次結(jié)構(gòu)）、數(shù)據(jù)流體系結(jié)構(gòu)（特別適用于基于圖形的應(yīng)用，如推理）和模擬計算（通過使用內(nèi)存元素作為可調(diào)諧電阻器計算直接在內(nèi)存內(nèi)部進行神經(jīng)網(wǎng)絡(luò)矩陣操作）。Mythic在融資方面也沒有落后于 Graphcore — — 2019 年 6 月，軟銀等投資者向其增加了3000萬美元的投資。

雖然還不清楚誰將最終主導AI芯片市場，但從歷史發(fā)展（如CPU和基帶處理器領(lǐng)域）經(jīng)驗來看，IP是取勝關(guān)鍵，誰在這方面占據(jù)了先機，就將在競爭中處于優(yōu)勢地位。因此，創(chuàng)新依然是發(fā)展壯大的關(guān)鍵。

新的芯片架構(gòu)和技術(shù)

在創(chuàng)新方面，今年陸續(xù)出現(xiàn)了一些新的邊緣AI芯片架構(gòu)，重點針對邊緣 AI 進行了優(yōu)化。而新興的RISC-V在其中扮演著重要的角色。由于是開源的，RISC-V指令集體系結(jié)構(gòu)具有各種指令擴展，可提高邊緣AI的性能，并降低功耗?；谶@些，RISC-V在邊緣側(cè)應(yīng)用對Arm發(fā)起了挑戰(zhàn)。

今年10月，Nvidia提議收購Arm，再次引起了Arm與RISC-V之爭的話題。對此，F(xiàn)acebook首席人工智能科學家Yann LeCun在法國研究實驗室CEA-Leti的創(chuàng)新日上發(fā)言說，應(yīng)該向RISC-V轉(zhuǎn)移，用于為邊緣AI應(yīng)用運行神經(jīng)網(wǎng)絡(luò)。

他說：“Nvidia收購Arm這一變化讓人感到不安，這讓人們更多地看到了RISC-V的發(fā)展?jié)摿?，RISC-V處理器的價格非常便宜，不到10美元，許多來自中國，它們將變得無處不在?！?/p>

”邊緣AI是一個超級重要的話題，“Yann LeCun說：”在未來兩到三年內(nèi)，它意味著盡可能降低功耗，修剪神經(jīng)網(wǎng)絡(luò)，優(yōu)化權(quán)重，關(guān)閉系統(tǒng)中未使用的部分。在未來兩到三年內(nèi)，使用這種AI芯片的AR設(shè)備將陸續(xù)出現(xiàn)?！?/p>

他還提到：“十年后，在自旋電子學方面是否會有一些突破，或者任何允許模擬計算而無需硬件多路復用？我們能否想出類似的東西，在不進行硬件多路復用的情況下，大大縮小單個芯片的設(shè)備尺寸，這是一個很大的挑戰(zhàn)。“

Leti 首席執(zhí)行官 Emmanual Sabonnadiere 表示：”公司正在為下一代芯片開發(fā) 1nm 和 2nm 技術(shù)，我堅信我們可以不同的方式，使用傳感器、神經(jīng)網(wǎng)絡(luò)和控制器來實現(xiàn)這種硬件。我們正在努力制定國家計劃，邊緣AI旨在阻止數(shù)據(jù)泛濫并保護隱私。“

Leti 也是全歐洲神經(jīng)網(wǎng)絡(luò)計劃的一份子，該計劃正在研究神經(jīng)網(wǎng)絡(luò)芯片的新平臺。

CEA-Leti的副首席執(zhí)行官兼首席技術(shù)長讓·雷內(nèi)·萊奎佩斯（Jean Rene Lequeypes）表示：“現(xiàn)在，我們已有 2000 多人在努力研究下一代AI技術(shù)。位于貝爾焦姆的伊梅克、德國的弗勞恩霍夫和萊蒂正在開發(fā)一個邊緣AI平臺，除此之外，我們還在格勒諾布爾的因里亞（Inria）工作，以研發(fā)Facebook和硅谷大公司需要的下一代技術(shù)和產(chǎn)品。“

挑戰(zhàn)在于集成所有不同的元素，而無需使用 5nm制程及以下所需的EUV光刻機。

Lequeypes 說：”我們希望獲得 1000TOPS/mW 的終極性能，這是一個非常大的挑戰(zhàn)，以及如何處理信息存儲，以及如何集成這些存儲器而無需使用EUV?！?/p>

邊緣AI芯片的低功耗突破

以上，提到了高性能和低功耗，在邊緣側(cè)，對低功耗的要求非常高，在某種意義上講，它比性能更為重要。這是當下邊緣AI芯片研究的一個重點。

比利時的 Imec 利用一種新技術(shù)開發(fā)了一種測試芯片，這種技術(shù)可顯著降低機器學習邊緣 AI 系統(tǒng)的功耗。

模擬內(nèi)存計算（AiMC）架構(gòu)使用經(jīng)過修改的內(nèi)存單元在網(wǎng)絡(luò)邊緣處理經(jīng)過訓練的神經(jīng)網(wǎng)絡(luò)中的數(shù)據(jù)，其功率效率為 2900TOPS/W。

“我們建立了一個特殊的計算單元，通過減少數(shù)字傳輸來節(jié)省能耗，”imec機器學習項目主管迪得里克·維克斯特說。“根據(jù)脈沖寬度，在繼續(xù)進行數(shù)字計算之前，可以得到ADC上權(quán)重的求和，”他說。

“在這個芯片中，我們使用3級權(quán)重。權(quán)重可以是 -1、0 或 1，我們使用兩個 SRAM 單元來存儲此權(quán)重級別。計算單元是一個模擬電路，在兩個SRAM單元上有幾個額外的晶體管，這會產(chǎn)生與存儲的3級權(quán)重和激活信號（DAC 的輸出）的乘法成正比的模擬信號。因此，嚴格地說，3 級權(quán)重以數(shù)字方式存儲，但所有計算都是在模擬域中完成的?！?/p>

”模擬推理加速器（AnIA）的成功流片標志著向AiMC驗證邁出了重要一步，“他補充說：”參考設(shè)計不僅表明模擬內(nèi)存計算在實踐中是可行的，而且表明它們比數(shù)字加速器實現(xiàn)了10到100倍的能效。從我們的角度來看，這是機器學習程序中的一個里程碑，表明模擬計算可以具有與數(shù)字計算相同的精度。“

AnIA測試芯片已采用格芯（GF）位于德國德累斯頓的22nm FD-SOI低功耗工藝平臺，芯片面積為 4平方毫米，具有 1024 個輸入和 512 個輸出信號，其性能與當今的GPU類似。它顯示的精度與數(shù)字實現(xiàn)相同，達到1%，但能效為 2900TOPS/W。低功耗和低成本的結(jié)合為嵌入式硬件中的邊緣AI圖像識別和傳感提供了機會。

GF計算和有線基礎(chǔ)設(shè)施產(chǎn)品管理副總裁 Hiren Majmudar 表示：”在AI領(lǐng)域，模擬計算是一種很有發(fā)展前景的前沿技術(shù)，因為它允許減少數(shù)據(jù)移動，這將成為主流。“

Majmudar說：“此測試芯片向業(yè)界展示了22FDX是如何顯著降低機器學習應(yīng)用芯片功耗的。我們獲得了與GPU相同的性能，但具有更高的能效?！?/p>

目前，新的 AiMC 功能正在德國德累斯頓Fab 1的先進300mm生產(chǎn)線上進行開發(fā)。

預計模擬計算AI芯片將在今年年底或明年初投入生產(chǎn)，并在2022年晚些時候進入大眾市場，甚至可能更早。

GF使用了經(jīng)過修改的SRAM單元，也可采用其他內(nèi)存技術(shù)，如MRAM，閃存，DRAM等。

在低功耗AI芯片方面，Socionext開發(fā)了一個原型芯片，它結(jié)合了新開發(fā)的量化深度神經(jīng)網(wǎng)絡(luò)（DNN）技術(shù)，為小型和低功耗邊緣計算設(shè)備實現(xiàn)了先進的AI處理能力。該原型是日本新能源和工業(yè)技術(shù)開發(fā)組織（NEDO）委托的”低功耗AI-Edge LSI技術(shù)開發(fā)“項目的一部分。

Socionext開發(fā)了一種基于”量化DNN技術(shù)“的專有架構(gòu)，以減少深度學習所需的參數(shù)和激活位。結(jié)果是提高了 AI 處理的性能，同時降低了功耗。該體系結(jié)構(gòu)除了傳統(tǒng)的 8 位之外，還集成了 1 位（二進制）和 2 位（三位）的位縮減，以及該公司的原始參數(shù)壓縮技術(shù)，大大減少了計算數(shù)據(jù)量。

此外，該公司還開發(fā)了一種新型的片上存儲技術(shù)，可提供高效的數(shù)據(jù)傳輸。

這些新技術(shù)集成在原型AI芯片中，據(jù)報道，它的功耗不到5W。該公司稱，這比傳統(tǒng)的通用GPU效率高10倍。

另外一家初創(chuàng)AI公司Sima.ai研發(fā)了名為MLSoC的芯片，這是一個針對計算機視覺的卷積神經(jīng)網(wǎng)絡(luò)平臺。該芯片原計劃在2020年底流片，采用16nm制程。該公司的目標是處理每秒最高幀/瓦。

該公司稱，該芯片將在5W時提供50TOPS的算力，在20W時提供200TOPS的算力。

當被問及如何與英特爾-Mobileye和Nvidia等老牌企業(yè)競爭時，Sima.ai的高層表示，降低功耗是關(guān)鍵，因為客戶希望在能耗受限的情況下擴展其工作負載。

待解決的問題

目前，邊緣AI芯片技術(shù)和市場都不成熟，處于群雄逐鹿的階段。此時，各種規(guī)范還沒成型，存在著一些問題和隱患，如系統(tǒng)偏差和AI倫理道德問題。

亞馬遜AI和機器學習相關(guān)人士表示，即使有最好的意圖，數(shù)據(jù)集中也可能存在偏差，并引入具有業(yè)務(wù)、道德和監(jiān)管模型中。這意味著模型管理員必須了解系統(tǒng)中潛在的偏差來源。

對于簡單且易于理解的算法，破解模型、檢查訓練期間學到的參數(shù)，以及確定它主要使用哪些功能相當容易。

然而，隨著模型變得越來越復雜，這種分析變得不可能。許多公司和組織可能需要 ML 模型才能解釋，然后才能在生產(chǎn)中使用。此外，當 ML 模型用作相應(yīng)決策的一部分時，某些規(guī)則可能需要解釋，而關(guān)閉循環(huán)時，可解釋性也有助于檢測偏差。

關(guān)鍵是將這些偏差監(jiān)視和緩解工具集成到邊緣 AI 工作流中，以便開發(fā)人員可以使用它們。

隨著AI的發(fā)展，其倫理道德問題開始浮出水面，涉及到以下原則：人類自主性、可解釋性、持續(xù)關(guān)注和警惕性、隱私和安全設(shè)計。

恩智浦在一份聲明中表示：”作為AI領(lǐng)域的創(chuàng)新者，我們致力于應(yīng)用道德原則。消費者依靠AI來承擔更多責任和決策，尤其是在人們希望其設(shè)備透明、公平、安全地運行時，安全性是關(guān)鍵。通過將這些道德原則構(gòu)建到能夠感知、解釋和分析邊緣數(shù)據(jù)的設(shè)備中，就可以啟用以合乎道德方式采取行動的AI了。

責任編輯：lq