不再焦慮GPU供應(yīng)，8芯片挑戰(zhàn)5萬億參數(shù)大模型

電子發(fā)燒友網(wǎng)報(bào)道（文/周凱揚(yáng)）隨著LLM與生成式AI熱度不減，不少AI芯片初創(chuàng)公司都找到了新的發(fā)力點(diǎn)，紛紛調(diào)整設(shè)計(jì)思路，專為這一爆款應(yīng)用開發(fā)出了新款芯片。且不說這些芯片的實(shí)際性能如何，但這無疑是當(dāng)下推動(dòng)這些公司獲得投資，并在行業(yè)下行期存活下去的救命稻草。今天我們就來聊聊剛發(fā)布新品SN40L的AI芯片初創(chuàng)公司SambaNova。

SN40L背后的SambaNova

SambaNova成立于2017年，截至目前已經(jīng)歷了共計(jì)6輪融資，參與融資的公司包括谷歌、英特爾和軟銀等，融資總額高達(dá)11億美元。只不過最近的D輪融資，距今已經(jīng)有兩年多的時(shí)間，也難怪SambaNova急于推出SN40L這一芯片，畢竟此類初創(chuàng)公司的開發(fā)從來都是燒錢的。

其實(shí)在SN40L推出以前，SambaNova也并非默默無聞，比如美國阿貢國家實(shí)驗(yàn)室早在第一代產(chǎn)品SN10推出時(shí)就在使用和測試SambaNova的系統(tǒng)了，只不過屆時(shí)基于SN10的SambaNova Dataflow系統(tǒng)還只是用于消除數(shù)據(jù)噪聲而已。

如果我們現(xiàn)在看阿貢國家實(shí)驗(yàn)室的ALCF AI測試平臺(tái)，我們可以看到5大系統(tǒng)，分別是Cerebras的CS2、SambaNova的Dataflow、Graphcore的Bow Pod64、Grop系統(tǒng)以及Habana的Gaudi。而目前用于ALCF AI測試平臺(tái)的SambaNova Dataflow就是基于SN40L的上一代產(chǎn)品SN30 RDU打造的，該芯片基于臺(tái)積電的7nm工藝打造。

目前SN30用在阿貢國家實(shí)驗(yàn)室的這套系統(tǒng)主要用于一些科學(xué)研究領(lǐng)域的AI計(jì)算，比如中微子物理、癌癥預(yù)測、氣候建模以及下一代汽車引擎研發(fā)等。而我們真正關(guān)注的是剛發(fā)布的SN40L，以及它在LLM這一應(yīng)用上能提供何種不同的優(yōu)勢(shì)。

英偉達(dá)GPU的替代方案

目前LLM的主流方案，即英偉達(dá)的A100、H100 GPU，存在一個(gè)很大的問題，那就是缺貨。對(duì)于任何互聯(lián)網(wǎng)廠商來說，在市面上找到足夠多的GPU都是一件費(fèi)錢費(fèi)力的事。而對(duì)于云服務(wù)廠商來說也是如此，他們也要考慮出租這類服務(wù)器時(shí)，GPU的算力與容量分配問題。

SN40L芯片和CEO Rodrigo Liang / SambaNova

為了解決“數(shù)量”的問題，SambaNova推出了SN40L。相較上一代的SN30，該芯片基于臺(tái)積電5nm工藝打造，每個(gè)芯片集成了1020億個(gè)晶體管和1040個(gè)核，算力高達(dá)638TFlops。更夸張的是，SambaNova稱單個(gè)SN40L系統(tǒng)節(jié)點(diǎn)（8塊SN40L芯片）就能支持到最高5萬億參數(shù)的大模型。

與其他AI芯片初創(chuàng)公司不一樣的是，他們并沒有選擇直接將芯片賣給其他公司這條路線，而是選擇了售賣訪問其定制AI技術(shù)棧的訪問權(quán)，包括其自研硬件和運(yùn)行超大模型的軟件等。這種商業(yè)模式或許能吸引一部分互聯(lián)網(wǎng)公司，但在云服務(wù)廠商眼中，他們應(yīng)該不會(huì)覺得這是一套可盈利的方案。

此外，SambaNova與其他競爭對(duì)手一樣，在AI芯片上引入了64GB HBM用于解決內(nèi)存墻的問題，這也是SN40L與上一代芯片的差異之一。只不過SambaNova并沒有透露SN40L用的是何種HBM，以及帶寬性能如何。

寫在最后

雖然SambaNova展示了提高LLM擴(kuò)展性的另一條道路，但在沒有經(jīng)過實(shí)際驗(yàn)證之前，市場還是會(huì)對(duì)其持觀望態(tài)度。此前也有不少AI芯片公司發(fā)表過同樣大膽的聲明，但事實(shí)證明這類芯片只適合用于運(yùn)行那些預(yù)訓(xùn)練完成的模型，而訓(xùn)練過程仍需要靠GPU來完成。所以哪怕SambaNova的CEO Rodrigo Liang強(qiáng)調(diào)SN40L的訓(xùn)練性能足夠優(yōu)秀，但是否能在這套商業(yè)模式下闖出一片天，就得交由市場去驗(yàn)證了。