Cerebras Systems宣布推出有史以來最大的芯片Wafer Scale Engine

昨天，初創(chuàng)公司Cerebras Systems宣布推出有史以來最大的芯片Wafer Scale Engine（WSE）。

據(jù)悉，WSE擁有1.2萬億個晶體管，這是一個什么概念呢？比較一下，1971年英特爾首款4004處理器擁有2300個晶體管，最近，AMD推出的最新處理器擁有320億個晶體管。由此可見WSE規(guī)模之龐大。

大多數(shù)芯片是在12英寸硅晶圓上制造的，并在芯片工廠中批量處理。但Cerebras Systems芯片是在單個晶圓上通過互聯(lián)實(shí)現(xiàn)的單芯片。這些互連設(shè)計使其全部保持高速運(yùn)行，可使萬億個晶體管全部一起工作。

Cerebras Wafer Scale Engine專門針對處理人工智能應(yīng)用程序而設(shè)計的。該公司本周正在加利福尼亞州帕洛阿爾托的斯坦福大學(xué)舉行的Hot Chips會議上討論這項(xiàng)設(shè)計。

此前，三星已經(jīng)制造了一個閃存芯片，即eUFS，擁有2萬億個晶體管。但Cerebras芯片擁有400，000個核心，42，225平方毫米。它比最大的Nvidia圖形處理單元大 56.7倍，該單元的尺寸為815平方毫米和211億個晶體管。

與傳統(tǒng)芯片相比，WSE還包含3000倍的高速片上存儲器，并且具有10000倍的存儲器帶寬。

該芯片來自Andrew Feldman領(lǐng)導(dǎo)的團(tuán)隊，后者曾創(chuàng)建微型服務(wù)器公司SeaMicro，并以3.34億美元的價格出售給了AMD。

芯片尺寸在AI中非常重要，因?yàn)榇笮酒梢愿斓靥幚?a target="_blank">信息，在更短的時間內(nèi)產(chǎn)生答案。減少訓(xùn)練時間，使研究人員能夠測試更多想法，使用更多數(shù)據(jù)并解決新問題。谷歌，F(xiàn)acebook，OpenAI，騰訊，百度和許多專業(yè)人士都認(rèn)為，今天人工智能的主要限制是訓(xùn)練需要很長時間。因此，縮短訓(xùn)練時間就消除了整個行業(yè)進(jìn)步的主要瓶頸。

當(dāng)然，芯片制造商通常不會制造如此大的芯片。在單個晶圓上，在制造過程中通常會產(chǎn)生一些雜質(zhì)，雜質(zhì)會導(dǎo)致芯片發(fā)生故障。如果晶圓上只有一個芯片，它有雜質(zhì)的幾率是100％，雜質(zhì)會使芯片失效。但Cerebras設(shè)計的芯片是有冗余的，因此一種雜質(zhì)不會破壞整個芯片。

WSE有很多創(chuàng)新，通過解決限制芯片尺寸的數(shù)十年的技術(shù)挑戰(zhàn) - 例如交叉光罩連接，良率，功率輸送，以及封裝等，Cerebras Systems首席執(zhí)行官費(fèi)爾德曼說。“每個架構(gòu)決策都是為了優(yōu)化AI工作的性能。結(jié)果是，Cerebras WSE根據(jù)工作量提供了數(shù)百或數(shù)千倍于現(xiàn)有解決方案的性能，只需很小的功耗和空間?！?/p>

WSE通過加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練的所有元素來實(shí)現(xiàn)這些性能提升。神經(jīng)網(wǎng)絡(luò)是多級計算反饋回路。較快的輸入在循環(huán)中移動，循環(huán)學(xué)習(xí)的速度越快，從而減少了訓(xùn)練時間。

Linley Group首席分析師Linley Gwennap在一份聲明中說：“Cerebras憑借其晶圓級技術(shù)實(shí)現(xiàn)了巨大的飛躍，在單片晶圓上實(shí)現(xiàn)了更多的處理性能?！?為了實(shí)現(xiàn)這一壯舉，該公司已經(jīng)解決了一系列工程難題，包括實(shí)施高速芯片到芯片通信，解決制造缺陷，封裝如此大的芯片，以及電源和冷卻等問題。通過將各種學(xué)科的頂級工程師聚集在一起，Cerebras在短短幾年內(nèi)創(chuàng)造了新技術(shù)并交付了產(chǎn)品。

據(jù)悉，該芯片面積比最大的GPU多56.7倍，Cerebras WSE提供更多內(nèi)核進(jìn)行計算，更多內(nèi)存靠近內(nèi)核，因此內(nèi)核可以高效運(yùn)行。由于這些大量的內(nèi)核和內(nèi)存位于單個芯片上，因此所有通信都在芯片內(nèi)進(jìn)行，這意味著它的低延遲通信帶寬是巨大的，因此內(nèi)核組可以以最高效率進(jìn)行協(xié)作。

Cerebras WSE中的46，225平方毫米的硅包含400，000個AI優(yōu)化，無緩存，無開銷的計算內(nèi)核和18千兆字節(jié)的本地、分布式、超高速SRAM內(nèi)存，內(nèi)存帶寬為每秒9 PB。這些內(nèi)核通過細(xì)粒度、全硬件、片上網(wǎng)狀連接通信網(wǎng)絡(luò)連接在一起，可提供每秒100 petabits的總帶寬。更多內(nèi)核，更多本地內(nèi)存和低延遲高帶寬結(jié)構(gòu)共同構(gòu)成了加速AI工作的最佳架構(gòu)。

更多核心

WSE包含400，000個AI優(yōu)化的計算核心。被稱為稀疏線性代數(shù)核心的SLAC，計算核心靈活、可編程，并針對支持所有神經(jīng)網(wǎng)絡(luò)計算的稀疏線性代數(shù)進(jìn)行了優(yōu)化。SLAC的可編程性確保內(nèi)核可以在不斷變化的機(jī)器學(xué)習(xí)領(lǐng)域中運(yùn)行所有神經(jīng)網(wǎng)絡(luò)算法。

由于稀疏線性代數(shù)核心針對神經(jīng)網(wǎng)絡(luò)計算基元進(jìn)行了優(yōu)化，因此它們可實(shí)現(xiàn)最佳利用率 - 通常是GPU的三倍或四倍。此外，WSE核心包括Cerebras發(fā)明的稀疏性收集技術(shù)，以加速稀疏工作負(fù)載（包含零的工作負(fù)載）的計算性能，如深度學(xué)習(xí)。

零在深度學(xué)習(xí)計算中很普遍。通常，要相乘的向量和矩陣中的大多數(shù)元素都是零。然而，乘以零是浪費(fèi)硅、功率和時間，因?yàn)闆]有新的信息。

因?yàn)镚PU和張量處理單元是密集的執(zhí)行引擎 - 設(shè)計為永不遇到零的引擎 - 它們即使在零時也會乘以每個元素。當(dāng)50%-98％的數(shù)據(jù)為零時，如深度學(xué)習(xí)中的情況一樣，大多數(shù)乘法都被浪費(fèi)了。由于Cerebras稀疏線性代數(shù)核不會乘以零，所有零數(shù)據(jù)都會被濾除，并且可以在硬件中跳過。

存儲

內(nèi)存是每個計算機(jī)體系結(jié)構(gòu)的關(guān)鍵組件。更接近計算的內(nèi)存轉(zhuǎn)換為更快的計算，更低的延遲和更好的數(shù)據(jù)移動功效。高性能深度學(xué)習(xí)需要大量計算，并且頻繁訪問數(shù)據(jù)。這需要計算核心和存儲器之間的緊密接近，這在GPU中并非如此，其中絕大多數(shù)存儲器是很緩慢的，且在片外。

Cerebras Wafer Scale Engine包含更多內(nèi)核，具有比迄今為止任何芯片更多的本地內(nèi)存，并且在一個時鐘周期內(nèi)可以通過其核心訪問18GB的片上內(nèi)存。WSE上的核心本地內(nèi)存集合可提供每秒9PB的內(nèi)存帶寬 - 比領(lǐng)先的圖形處理單元多3，000倍的片上內(nèi)存和10，000倍的內(nèi)存帶寬。

通信

Swarm通信結(jié)構(gòu)是WSE上使用的處理器間通信結(jié)構(gòu)，它可以傳統(tǒng)通信技術(shù)的功耗的一小部分實(shí)現(xiàn)突破性帶寬和低延遲。Swarm提供低延遲、高帶寬的2D網(wǎng)格，可連接WSE上的所有400，000個核心，每秒帶寬為100 petabits。

路由方面，Swarm為每個神經(jīng)網(wǎng)絡(luò)提供獨(dú)特的優(yōu)化通信路徑。軟件根據(jù)正在運(yùn)行的特定用戶定義的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，配置通過400，000個核心的最佳通信路徑以連接處理器。

Cerebras WSE的總帶寬為每秒100 petabits。不需要諸如TCP / IP和MPI之類的通信協(xié)議支持，因此避免了它們的性能損失。該架構(gòu)中的通信能量成本遠(yuǎn)低于每比特1焦耳，這比GPU低近兩個數(shù)量級。通過結(jié)合大量帶寬和極低的延遲，Swarm通信結(jié)構(gòu)使Cerebras WSE能夠比任何當(dāng)前可用的解決方案更快地學(xué)習(xí)。