SambaNova推類ChatGPT開源模型BLOOMChat之后再推AI芯片SN40L

SambaNova推類ChatGPT開源模型BLOOMChat之后再推AI芯片SN40L

SambaNova是硅谷AI芯片初創(chuàng)公司，近期推出了AI芯片SN40L，SN40L芯片基于臺(tái)積電5nm工藝打造，每個(gè)芯片集成了1020億個(gè)晶體管和1040個(gè)核，算力高達(dá)638TFlops。這款新 SambaNova 芯片由臺(tái)積電負(fù)責(zé)制造，能夠支持 5 萬億參數(shù)模型，并包含兩種先進(jìn)的存儲(chǔ)形式。

SambaNova稱單個(gè)SN40L系統(tǒng)節(jié)點(diǎn)（8塊SN40L芯片）就能支持到最高5萬億參數(shù)的大模型。

此外，SambaNova與其他競(jìng)爭(zhēng)對(duì)手一樣，在AI芯片上引入了64GB HBM用于解決內(nèi)存墻的問題，這也是SN40L與上一代芯片的差異之一。只不過SambaNova并沒有透露SN40L用的是何種HBM，以及帶寬性能如何。

SambaNova成立于2017年，截至目前已經(jīng)歷了共計(jì)6輪融資，參與融資的公司包括谷歌、英特爾和軟銀等，融資總額高達(dá)11億美元。

此前SambaNova還與Together聯(lián)合推出了類ChatGPT開源模型——BLOOMChat。

BLOOMChat是基于BigScience在2022年7月開源的大語言模型BLOOM開發(fā)而成，并在OpenChatKit、Dolly 2.0和OASST1的數(shù)據(jù)訓(xùn)練集上進(jìn)行微調(diào)。

BLOOMChat有1760億參數(shù)，支持中文、英文、日文、法文、等46種語言；支持代碼生成，包括Python、java、php、cpp、Ruby、C++等13種編程語言；可用于 Apache 2.0 修改版本下的研究和商業(yè)用例；知名開源平臺(tái)持續(xù)提供技術(shù)迭代等。

BLOOMChat與目前市面上大多數(shù)類ChatGPT開源模型相比，在預(yù)訓(xùn)練數(shù)據(jù)、指令調(diào)優(yōu)、功能擴(kuò)展、AI對(duì)齊等方面擁有巨大優(yōu)勢(shì)。