Cerebras:CS-1的速度比Joule超級計(jì)算機(jī)快200倍

Cerebras Systems和聯(lián)邦能源部國家能源技術(shù)實(shí)驗(yàn)室今天宣布，該公司的CS-1系統(tǒng)比圖形處理單元（GPU）快10，000倍。

換而言之，這意味著以前需要花費(fèi)數(shù)月時間進(jìn)行訓(xùn)練的AI神經(jīng)網(wǎng)絡(luò)，現(xiàn)在在Cerebras系統(tǒng)上僅需要進(jìn)行數(shù)分鐘的訓(xùn)練，就能完成。

Cerebras生產(chǎn)世界上最大的計(jì)算機(jī)芯片WSE。芯片制造商通常會從直徑12英寸的硅錠中切出晶圓，然后在芯片工廠中進(jìn)行處理。處理完成后，將晶片切成數(shù)百個可用于電子硬件的獨(dú)立芯片。

但是由SeaMicro創(chuàng)始人Andrew Feldman創(chuàng)立的Cerebras用整個晶圓制造出了一塊巨大的芯片。芯片的每個部分都稱為核心，以復(fù)雜的方式互連到其他核心?；ミB設(shè)計(jì)為使所有內(nèi)核保持高速運(yùn)行，因此晶體管可以一起工作。

Cerebras的CS-1系統(tǒng)使用WSE硅片大小的芯片，該芯片具有1.2萬億個晶體管，這些基本的開關(guān)電子開關(guān)是硅芯片的基礎(chǔ)。英特爾1971年的第一個4004處理器具有2，300個晶體管，而昨天宣布的Nvidia A100 80GB芯片具有540億個晶體管。

Feldman在接受VentureBeat采訪時說，CS-1的速度也比Joule超級計(jì)算機(jī)快200倍，后者在全球500強(qiáng)超級計(jì)算機(jī)中名列第82位。

Feldman說：“它顯示了創(chuàng)紀(jì)錄的性能。這也表明晶圓級技術(shù)的應(yīng)用范圍超出了AI?！?/p>

這些數(shù)據(jù)是總部位于加利福尼亞州的Cerebras采用激進(jìn)方法得出的成果，該方法創(chuàng)建了具有40萬個AI核的芯片，而不是將該晶片切成單個芯片。Feldman說，這種不尋常的設(shè)計(jì)使完成任務(wù)變得容易得多，因?yàn)樘幚砥骱蛢?nèi)存彼此靠近，并且有很多帶寬可以連接它們。該方法在不同的計(jì)算任務(wù)中適用范圍的問題仍然存在。

根據(jù)Cerebras與聯(lián)邦實(shí)驗(yàn)室合作的結(jié)果發(fā)表的一篇論文說，CS-1可以提供任何數(shù)量的中央處理器（CPU）和GPU都無法達(dá)到的性能，而中央處理器和GPU都是超級計(jì)算機(jī)中常用的。（現(xiàn)在70％的頂級超級計(jì)算機(jī)都使用了英偉達(dá)的GPU ）。Feldman補(bǔ)充說，“不管超級計(jì)算機(jī)有多大，這都是真的?！?/p>

Cerebras將在本周的SC20超級計(jì)算在線活動中進(jìn)行演示。CS-1在計(jì)算流體動力學(xué)方面的工作量擊敗了Joule 超級計(jì)算機(jī)，它可以模擬化油器等地方的流體運(yùn)動。Joule 超級計(jì)算機(jī)的建造成本為數(shù)千萬美元，其中有84，000個CPU內(nèi)核分布在數(shù)十個機(jī)架上，消耗的功率為450千瓦。

根據(jù)能源實(shí)驗(yàn)室主管Brian Anderson的說法，在此演示中，Joule 超級計(jì)算機(jī)使用了16，384個內(nèi)核，而Cerebras計(jì)算機(jī)的速度提高了200倍。Cerebras花費(fèi)數(shù)百萬美元，并使用20千瓦的功率。

“對于這些工作量，晶圓級CS-1是有史以來最快的機(jī)器，”Feldman說?！岸宜绕渌幚砥鞯娜魏纹渌M合或集群都快?！?/p>

單個Cerebras CS-1的高度為26英寸，可占據(jù)三分之一的機(jī)架，并由業(yè)界唯一的晶圓級處理引擎Cerebras的WSE提供動力。它結(jié)合了內(nèi)存性能與大帶寬，低延遲的處理器間通信以及針對高帶寬計(jì)算進(jìn)行了優(yōu)化的體系結(jié)構(gòu)。

該研究由NETL機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)工程師Dirk Van Essendelft以及Cerebras聯(lián)合創(chuàng)始人兼高級技術(shù)首席架構(gòu)師Michael James領(lǐng)導(dǎo)。經(jīng)過幾個月的努力，結(jié)果才出現(xiàn)。

2019年9月，能源部宣布與Cerebras建立合作伙伴關(guān)系，其中包括與Argonne國家實(shí)驗(yàn)室和Lawrence Livermore國家實(shí)驗(yàn)室的部署。

Cerebras CS-1于2019年11月發(fā)布。CS-1是圍繞WSE構(gòu)建的，它的體積是WSE的56倍，內(nèi)核增加了54倍，片上內(nèi)存增加了450倍，內(nèi)存帶寬增加了5788倍，并且20，833倍Cerebras說，與領(lǐng)先的GPU競爭對手相比，其結(jié)構(gòu)帶寬更大。

費(fèi)爾德曼指出，CS-1可以比實(shí)時完成更快的計(jì)算，這意味著它可以在反應(yīng)開始時啟動電廠反應(yīng)堆核心的仿真，并在反應(yīng)結(jié)束之前完成仿真。

“這些動態(tài)建模問題具有有趣的特征，”Feldman說?！八鼈冊贑PU和GPU內(nèi)核之間的伸縮性很差。用計(jì)算科學(xué)家的語言來說，它們沒有表現(xiàn)出“強(qiáng)擴(kuò)展性”。這意味著，在一定程度上，向超級計(jì)算機(jī)添加更多處理器不會帶來額外的性能提升?！?/p>

Cerebras已經(jīng)籌集了4.5億美元，擁有275名員工。
責(zé)任編輯:tzh