資本市場依舊看好的存內(nèi)計算AI芯片

電子發(fā)燒友網(wǎng)報道（文/周凱揚）經(jīng)過這幾年的發(fā)展，越來越多的AI計算芯片初創(chuàng)公司感受到了劇增的壓力，入場的玩家越來越多，而頭部的大廠在市占率上壓得他們喘不過氣。盡管如此，還是有的廠商找到了另外的路線來吸引更多的投資，比如存內(nèi)計算。

d-Matrix

近日，AI芯片初創(chuàng)公司d-Matrix宣布收獲了1.1億美元的B輪融資，由新加坡投資公司淡馬錫控股公司領(lǐng)頭，剩余的投資者包括微軟、三星等。其實早在該公司去年4月份的A輪融資中，微軟就已經(jīng)領(lǐng)投這家初創(chuàng)企業(yè)，一樣參與投資的還有SK海力士。可以看出，無論是微軟，還是內(nèi)存廠商，都很看好其前景。

d-Matrix的技術(shù)路線是通過存內(nèi)計算來實現(xiàn)AI瓶頸的突破，比如在過去的標(biāo)準(zhǔn)SRAM結(jié)構(gòu)中，內(nèi)存墻的問題是始終存在的，而d-Matrix的數(shù)字化存內(nèi)計算則可以進一步提升單位功耗的算力，從過去的10Tops/W提升至最高230Tops/W。

d-Matrix率先推出的是Nighthawk這一驗證Chiplet產(chǎn)品，基于臺積電的6nm工藝打造，集成了4個基礎(chǔ)神經(jīng)網(wǎng)絡(luò)加速器作為AI引擎，以及一個SiFive S76 CPU作為控制單元。每個神經(jīng)網(wǎng)絡(luò)加速器中包含了兩個自研Apollo核心，每個核心中又包括8個數(shù)字存內(nèi)計算單元。

不過Nighthawk僅僅是用于展示使用，并不會量產(chǎn)，隨后d-Matrix又推出了Jayhawk這一chiplet加入其展示平臺，加入了基于ODSA標(biāo)準(zhǔn)的D2D接口。而d-Matrix將要為客戶正式提供的產(chǎn)品是今年推出的Corsair chiplet，該設(shè)備將集成512個dMIC，是Nighthawk的8倍，這才將性能推至200Tops/W以上。

針對Corsair的架構(gòu)，d-Matrix還推出了Aviator這一軟件平臺，進一步無縫化終端用戶的模型部署體驗。據(jù)了解，微軟已經(jīng)在評估該芯片，并計算在明年投入使用。而d-Matrix預(yù)計營收將達到1000萬美元，主要來自客戶用于評估的訂單。由于這類存內(nèi)計算更適合AI計算中的推理，對于生成式AI來說可以提高吞吐量、降低延遲，同時相對GPU方案也擁有更低的TCO成本。

EnCharge AI

另外一家從事存內(nèi)計算AI芯片開發(fā)，并獲得了資本青睞的初創(chuàng)公司名為EnCharge AI。去年年底，該公司退出隱身模式，并獲得了來自Anzu Partnets、AlleyCorp等公司的2170萬美元A輪融資。其CEO Naveen Verma表示這筆資金將用于推進硬件和軟件的開發(fā)，以及支持與新客戶之間的溝通。

相較于d-Matrix，EnCharge AI的大部分研究成果還在理論階段，并沒有量產(chǎn)，這也是他們繼續(xù)融資推進產(chǎn)品落地的原因。EnCharge AI表示自己的軟件棧與標(biāo)準(zhǔn)的設(shè)計框架（PyTorch、TensorFlow、ONNX）兼容，并支持針對應(yīng)用的運算、模型和分辨率自定義。其軟件棧保證了高精度、高性能的AI模型部署不再是一個冗長的過程，而是一個流暢自動化的過程。

在硬件上，EnCharge AI還是保證了其設(shè)計與標(biāo)準(zhǔn)CMOS工藝兼容，最小化成本的同時依然可以提供最大化的性能表現(xiàn)。據(jù)其官網(wǎng)介紹，EnCharge AI在打造的存內(nèi)計算AI芯片可以達到150TOPS/W的計算效率。

雖然EnCharge AI的硬件平臺也強調(diào)了可擴展性，但從其描述來看，似乎更愿意將其應(yīng)用于邊緣端，比如針對攝像頭的Resnet50圖像分類識別等。不過可以肯定的是，EnCharge AI目前還處于未量產(chǎn)無客戶的階段，在市場上還會與其他資金雄厚、產(chǎn)品進度更快的競爭對手交鋒。

寫在最后

即便是鉆研存內(nèi)計算AI芯片的廠商，還是需要走軟硬件棧的同步開發(fā)，因為對于AI模型，尤其是一些LLM來說，兼容性還只是重心之一。要想推進AI計算的效率，就必須做好硬件和軟件的擴展性，這也是多數(shù)AI芯片初創(chuàng)公司面臨的最大難題，甚至因為軟硬件協(xié)調(diào)問題遲遲沒能大規(guī)模商用。