前言: 近日,芯片行業(yè)的領(lǐng)軍企業(yè)Cerebras Systems宣布推出其革命性的產(chǎn)品——Wafer Scale Engine 3,該產(chǎn)品成功將現(xiàn)有最快AI芯片的世界紀(jì)錄提升了一倍。
WSE-3 AI芯片比英偉達(dá)H100大56倍
WSE-3芯片采用了臺積電先進(jìn)的5納米工藝技術(shù),集成了超過4萬億個晶體管與90萬個核心,展現(xiàn)出驚人的125 petaflops計算性能。
此芯片不僅是臺積電目前能制造的最大方形芯片,其獨(dú)特的44GB片上SRAM設(shè)計。
摒棄了傳統(tǒng)的片外HBM3E或DDR5內(nèi)存方式,使內(nèi)存與核心緊密結(jié)合,極大縮短了數(shù)據(jù)處理與計算的距離,提升了整體運(yùn)算效率。
另一方面,Cerebras的CS-3系統(tǒng)代表了Wafer Scale技術(shù)的第三代成就。
其頂部配置有先進(jìn)的MTP/MPO光纖連接,以及完備的冷卻系統(tǒng)包括電源、風(fēng)扇和冗余泵,確保了系統(tǒng)在高負(fù)荷運(yùn)行時的穩(wěn)定與可靠。
相較于前代產(chǎn)品,CS-3系統(tǒng)及其新型芯片在保持相同功耗和成本的同時,實現(xiàn)了近兩倍的性能提升。
值得注意的是,WSE-3芯片的核心數(shù)量高達(dá)英偉達(dá)H100 Tensor Core的52倍。
由WSE-3驅(qū)動的Cerebras CS-3系統(tǒng)在訓(xùn)練速度上比英偉達(dá)的DGX H100系統(tǒng)快了8倍,內(nèi)存擴(kuò)大了1900倍。
更令人震驚的是,CS-3系統(tǒng)能夠支持高達(dá)24萬億個參數(shù)的AI模型訓(xùn)練,這一數(shù)字是DGX H100的600倍。Cerebras公司高管表示,CS-3系統(tǒng)的能力已全面超越DGX H100。
舉例來說,原本在GPU上需要30天才能完成的Llama 700億參數(shù)模型訓(xùn)練,現(xiàn)在通過CS-3集群僅需一天即可完成。
第三代產(chǎn)品成功破圈
WSE-3在保持與前代產(chǎn)品Cerebras WSE-2相同功耗和價格的同時,其性能卻實現(xiàn)了翻番,這無疑是對市場的一次重大突破。
WSE-3是Cerebras第三代產(chǎn)品,展現(xiàn)了其在晶圓級芯片設(shè)計和制造方面的技術(shù)積累。
第一代WSE于2019年推出,采用臺積電16nm工藝;第二代WSE-2于2021年發(fā)布,采用7nm工藝;WSE-3則使用5nm技術(shù)。
相比第一代,WSE-3的晶體管數(shù)量增加了兩倍以上,達(dá)到了4萬億的規(guī)模。根據(jù)其官方介紹,與晶體管數(shù)量的增長相比,芯片上的計算單元、內(nèi)存和帶寬的增長速度有所放緩。
這反映出Cerebras在追求整體性能提升的同時,也在芯片面積、功耗和成本之間進(jìn)行權(quán)衡。
通過多代產(chǎn)品的迭代,Cerebras掌握了晶圓級芯片設(shè)計和制造的核心技術(shù),為未來的創(chuàng)新奠定了基礎(chǔ)。
專為AI打造的計算能力
以往,在傳統(tǒng)的GPU集群環(huán)境下,研究團(tuán)隊在分配模型時不僅需要科學(xué)嚴(yán)謹(jǐn),還需應(yīng)對一系列復(fù)雜的挑戰(zhàn),如處理器單元的內(nèi)存容量限制、互聯(lián)帶寬的瓶頸以及同步機(jī)制的協(xié)調(diào)等。
此外,團(tuán)隊還需持續(xù)調(diào)整超參數(shù)并開展優(yōu)化實驗,以確保模型的性能達(dá)到最佳狀態(tài)。
然而,這些努力常常因微小的變動而受到影響,導(dǎo)致解決問題所需的總時間進(jìn)一步延長,增加了研究的復(fù)雜性和不確定性。
相比之下,WSE-3的每一個核心均具備獨(dú)立編程的能力,并且針對神經(jīng)網(wǎng)絡(luò)訓(xùn)練和深度學(xué)習(xí)推理中所需的基于張量的稀疏線性代數(shù)運(yùn)算進(jìn)行了專門的優(yōu)化。
這一特點(diǎn)使得研究團(tuán)隊能夠在WSE-3的支持下,以前所未有的速度和規(guī)模高效地訓(xùn)練和運(yùn)行AI模型,同時避免了復(fù)雜分布式編程技巧的需求。
WSE-3配備的44GB片上SRAM內(nèi)存均勻分布在芯片表面,使得每個核心都能在單個時鐘周期內(nèi)以極高的帶寬(21 PB/s)訪問到快速內(nèi)存,是當(dāng)今地表最強(qiáng)GPU英偉達(dá)H100的7000倍。
而WSE-3的片上互連技術(shù),更是實現(xiàn)了核心間驚人的214 Pb/s互連帶寬,是H100系統(tǒng)的3715倍。
CS-3可以配置為多達(dá)2048個系統(tǒng)的集群,可實現(xiàn)高達(dá)256 exaFLOPs的AI計算,專為快速訓(xùn)練GPT-5規(guī)模的模型而設(shè)計。
大幅簡化并行編程復(fù)雜度
傳統(tǒng)的集群建設(shè)方式,通常需要數(shù)以萬計的GPU或AI加速器來協(xié)同解決某一問題。
在英偉達(dá)所構(gòu)建的GPU集群中,這些集群通過Infiniband、以太網(wǎng)、PCIe和NVLink交換機(jī)等設(shè)備進(jìn)行連接,其中大部分功率和成本均投入到芯片間的重新連接上。
此外,為了管理這些芯片間的互連、通信和同步,還需編寫大量的代碼,這無疑增加了并行編程的復(fù)雜性。
然而,Cerebras采用了一種與英偉達(dá)截然不同的方法。他們選擇保留整個晶圓,因此所需的芯片數(shù)量減少了50倍以上,從而顯著降低了互連和網(wǎng)絡(luò)的復(fù)雜性和成本。
在軟件層面,Cerebras提供了一套優(yōu)化的軟件棧,其中包括內(nèi)置的通信機(jī)制和自動化的內(nèi)存管理。
這使得開發(fā)人員能夠使用更少的代碼實現(xiàn)復(fù)雜的模型,從而大幅降低了編程負(fù)擔(dān)。
這種軟硬件協(xié)同優(yōu)化的策略,不僅簡化了開發(fā)過程,也加速了AI應(yīng)用的開發(fā)和部署。
業(yè)務(wù)模式與傳統(tǒng)廠商存在顯著差異
傳統(tǒng)上,英偉達(dá)、AMD、英特爾等公司傾向于采用大型臺積電晶圓,并將其切割成更小的部分以生產(chǎn)芯片。
然而,Cerebras卻選擇了一種截然不同的路徑,它保留了晶圓的完整性。
在當(dāng)前高度互聯(lián)的計算集群中,數(shù)以萬計的GPU或AI加速器協(xié)同工作以處理復(fù)雜問題。
Cerebras的策略將芯片數(shù)量減少50倍以上,從而顯著降低了互連和網(wǎng)絡(luò)成本,同時減少了功耗。
在英偉達(dá)GPU集群中,這些集群配備了Infiniband、以太網(wǎng)、PCIe和NVLink交換機(jī),大量的電力和成本消耗在重新鏈接芯片上。
通過維持整個芯片的完整性,Cerebras有效地解決了這一問題。
憑借WSE-3,Cerebras繼續(xù)鞏固其作為全球最大單芯片生產(chǎn)者的地位。
這款芯片呈正方形,邊長達(dá)到21.5厘米,幾乎占據(jù)了整個300毫米硅片的面積。
將Cerebras的設(shè)計理念與拼圖游戲進(jìn)行類比,可以清晰地揭示其創(chuàng)新之處。
傳統(tǒng)的芯片制造過程類似于將拼圖切成小塊并逐一拼接,而Cerebras的方法則更像是保持拼圖的完整性,使得各部件之間的連接更加緊密,從而提升了整體效率和性能。
這種前瞻性的設(shè)計理念為WSE-3芯片的成功提供了堅實的基石。
結(jié)尾:
綜合評估,WSE-3標(biāo)志著人工智能芯片設(shè)計領(lǐng)域的新趨勢,它以單片規(guī)模之巨實現(xiàn)了性能與效率的顯著提升。
對于其他公司而言,若要復(fù)制此類產(chǎn)品,必須在晶圓制造、封裝互連、系統(tǒng)集成及軟件棧等多個領(lǐng)域投入長期的研發(fā)努力,并克服眾多技術(shù)難關(guān)。
Cerebras之所以能夠在市場中脫穎而出,其關(guān)鍵在于這些領(lǐng)域中所展現(xiàn)的持續(xù)創(chuàng)新能力及突破。
審核編輯:劉清
-
處理器
+關(guān)注
關(guān)注
68文章
19028瀏覽量
228442 -
晶圓
+關(guān)注
關(guān)注
52文章
4778瀏覽量
127566 -
晶體管
+關(guān)注
關(guān)注
77文章
9582瀏覽量
137462 -
AI芯片
+關(guān)注
關(guān)注
17文章
1842瀏覽量
34788 -
DDR5
+關(guān)注
關(guān)注
1文章
412瀏覽量
24059
原文標(biāo)題:熱點(diǎn)丨最強(qiáng)AI芯片發(fā)布,Cerebras推出性能翻倍的WSE-3 AI芯片
文章出處:【微信號:World_2078,微信公眾號:AI芯天下】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論