今年 8 月,集成 1.2 萬億個晶體管的“史上最大芯片”The Cerebras Wafer Scale Engine(以下簡稱 WSE)誕生,在 11 月 19 日召開的 Supercomputing 2019 大會上,該芯片制造公司 Cerebras Systems 推出了搭載該芯片的計算機系統(tǒng)————Cerebras CS-1,這也將是世界上最強大的 AI 計算系統(tǒng)。美國兩家國家實驗室是該公司的客戶,其中,阿貢國家實驗室已成功部署并宣布,將用這套系統(tǒng)來發(fā)現(xiàn)癌癥療法和理解黑洞碰撞。
圖 | Cerebras CS-1(來源:Cerebras Systems)
CS-1 搭載的并不是一個芯片,而是一整個晶圓。通常,硅芯片是從 8、10 或 12 英寸等不同規(guī)格的晶圓上單獨切下來的。而 Cerebras 把晶圓切割成一個很大的長方形,每個芯片都相互連接,可以使每個晶體管都能像整體一樣高速運轉(zhuǎn)。一個典型處理器可能在一個芯片上有 100 億個晶體管,而 CS-1 搭載的整個晶片上所有核的晶體管總數(shù)超過 1.2 萬億個。
在 AI 計算中,芯片尺寸至關(guān)重要,但是高級處理器必須要有專用的硬件和軟件系統(tǒng)相配合才能實現(xiàn)理想的性能。Cerebras 公司 CEO Andrew Feldman 在接受媒體采訪時說:“你無法將法拉利發(fā)動機放入大眾汽車中來獲得法拉利性能。如果你想獲得 1,000 倍的性能提升,你要做的就是消除瓶頸?!盋S-1 系統(tǒng)設(shè)計和 Cerebras 軟件平臺相結(jié)合,可以充分用到從 WSE 上的 40 多萬個計算內(nèi)核和 18 GB 高性能片上存儲器中提取的每一點的處理能力。
GIF 圖 | Cerebras 晶片規(guī)模的引擎(來源:Cerebras Systems)
與 GPU 集群需要消耗數(shù)十個機架并且需要專有的 InfiniBand 進行集群不同,CS-1 不需要大量修改現(xiàn)有模型,并且用戶只需將基于標(biāo)準(zhǔn)的 100Gb 以太網(wǎng)鏈路插入交換機就可以啟動培訓(xùn)模型。
CS-1 有 15 個機架,大概是 26 英寸高(66.04 厘米)。Andrew Feldman 表示,CS-1 是“最快的 AI 計算機”。CS-1 計算機的機器學(xué)習(xí)能力相當(dāng)于數(shù)百架基于 GPU 的計算機能力,這些計算會消耗數(shù)百千瓦。但 CS-1 僅消耗 17 千瓦,占標(biāo)準(zhǔn)機架能耗的三分之一。他把 CS-1 和谷歌的 TPU 計算集群相比,強調(diào)谷歌的 TPU2 機器學(xué)習(xí)集群需要 10 個機架和超過 100 千瓦的功耗,才能提供一個 CS-1 機箱三分之一的性能。
Feldman 說:“我們是由 40 萬個專用 AI 處理器組成的 AI 機器?!盋S-1 由 40 萬核、1 萬億晶體管大小的處理器芯片驅(qū)動,可以將原本需要至少幾周的大型神經(jīng)網(wǎng)絡(luò)訓(xùn)練任務(wù)縮短到幾分鐘甚至幾秒鐘。但是,Cerebras 并沒有提供用標(biāo)準(zhǔn) AI 基準(zhǔn)(如新的 MLPeRF 標(biāo)準(zhǔn))衡量性能的數(shù)據(jù)。相反,它通過讓潛在客戶在 Cerebras 的機器上訓(xùn)練他們自己的神經(jīng)網(wǎng)絡(luò)模型來吸引潛在客戶。
另外,Cerebras 還公布了一些系統(tǒng)軟件的細節(jié),該軟件允許用戶使用 Pytorch 和 Tensorflow 之類的 ML 標(biāo)準(zhǔn)框架來編寫他們的機器學(xué)習(xí)模型。強大的圖形編譯器可自動將這些模型轉(zhuǎn)換為 CS-1 的優(yōu)化可執(zhí)行文件,而豐富的工具集可實現(xiàn)直觀的模型調(diào)試和性能分析。
圖 | Cerebras 軟件系統(tǒng)允許用戶使用 Pytorch 和 Tensorflow 之類的 ML 標(biāo)準(zhǔn)框架來編寫他們的機器學(xué)習(xí)模型(來源:Cerebras Systems)
這是如何實現(xiàn)的呢?通過解決一個優(yōu)化問題,確保所有層以大致相同的速度完成它們的任務(wù)處理,且與相鄰層是連續(xù)的。這樣信息就可以實現(xiàn)在網(wǎng)絡(luò)中暢通無阻。該軟件可以在多臺計算機上執(zhí)行這個優(yōu)化問題,如果把 32 個 CS-1 連接在一起,那么這一組計算機所構(gòu)成的大型計算機的性能可以提高約 32 倍。
Feldman 說:“GPU 集群無法實現(xiàn)相同的效果,你得到的不是一個大型計算機的算力,仍然是一堆小機器所能實現(xiàn)的算力?!彼J為 CS-1 和 GPU 集群形成了鮮明的對比。
CS-1 的第一個應(yīng)用是預(yù)測癌癥藥物反應(yīng),這是美國能源部和美國國家癌癥研究所合作的一個項目。能源部負責(zé)人工智能與技術(shù)的副部長 Dimitri Kusnezov 在一份聲明中說:“在能源部,我們相信公私合作是加速美國人工智能研究的重要組成部分?!薄拔覀兤诖c Cerebras 建立長期而富有成效的合作關(guān)系,這將有助于定義下一代人工智能技術(shù),并改變能源部的運作、業(yè)務(wù)和使命?!被蛟S這也是 Feldman 能籌集到數(shù)億美元并雇用大量員工的原因。
圖 | 阿貢實驗室(Argonne National Laboratory)
阿貢實驗室與 Cerebras 的合作已經(jīng)有兩年了。其計算總監(jiān) Rick Stevens 在新聞發(fā)布會上表示:“通過部署 CS-1,我們大大縮短了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時間,使我們的研究人員能夠更高效地開展深度學(xué)習(xí)研究,在癌癥、創(chuàng)傷性腦損傷以及當(dāng)今和未來對社會有重要意義的其他領(lǐng)域取得重大進展。”
阿貢實驗室是全球最大的超級計算機站點之一,而 CS-1 可以使這個站點比現(xiàn)有的 AI 加速器得到 100 到 1000 倍的提升,有望在 2021 年實現(xiàn) Aurora 百萬兆級超算的能力。一臺百萬兆級的計算機一瞬間進行的計算量,相當(dāng)于地球上的所有人每天每秒都不停地計算四年。
除了用在研究抗癌藥物之外,該系統(tǒng)還將被用來幫助理解黑洞碰撞行為及其引力波。此前做過類似研究的 Theta 超級計算機,在研究黑洞碰撞問題時需要調(diào)動超算所配置的 4392 個節(jié)點中的 1024 個節(jié)點,每個節(jié)點包含了一個 64 核處理器和 16 GB 的高帶寬封裝內(nèi)存(MCDRAM),192 GB 的 DDR4 RAM 和 128 GB 的 SSD。
Cerebras 的另一個客戶勞倫斯·利弗莫爾國家實驗室也來頭不小,擁有世界排名第三的 Sequoia 超級計算機。CS-1 也有望進一步增強其模擬計算能力。
-
處理器
+關(guān)注
關(guān)注
68文章
19032瀏覽量
228450 -
晶體管
+關(guān)注
關(guān)注
77文章
9582瀏覽量
137462 -
AI
+關(guān)注
關(guān)注
87文章
29359瀏覽量
267647
發(fā)布評論請先 登錄
相關(guān)推薦
評論