AI軟件初創(chuàng)公司Mipsology正在與Xilinx合作,以使FPGA能夠僅使用一個(gè)附加命令即可替換AI加速器應(yīng)用程序中的GPU。Mipsology的“零努力”軟件Zebra將GPU代碼轉(zhuǎn)換為可在FPGA上的Mipsology的AI計(jì)算引擎上運(yùn)行,而無(wú)需進(jìn)行任何代碼更改或重新培訓(xùn)。
賽靈思今天宣布,將為數(shù)據(jù)中心向Zebra交付最新版本的Alveo U50卡。Zebra已經(jīng)在其他Xilinx板上支持推理加速,包括Alveo U200和Alveo U250。
Xilinx營(yíng)銷副總裁Ramine Roane表示:“ Zebra帶給我們的Alveo卡的加速水平使CPU和GPU加速器感到羞愧?!?/span>“與Zebra結(jié)合使用,Alveo U50滿足了AI工作負(fù)載的靈活性和性能需求,并為任何部署提供了高吞吐量和低延遲性能優(yōu)勢(shì)。”
過(guò)去,即插即用的FPGA對(duì)于非專業(yè)人士來(lái)說(shuō)很難編程,但是Mipsology希望將FPGA變成即插即用的解決方案,就像CPU或GPU一樣容易使用。這樣做的想法是使從其他類型的加速切換到FPGA盡可能容易。
Mipsology首席執(zhí)行官Ludovic Larzul說(shuō):“最好的方式是[Mipsology],我們使用FPGA之上的軟件來(lái)使它們透明化,就像Nvidia用Cuda CuDNN來(lái)使GPU對(duì)AI用戶完全透明一樣?!霸诮邮?/span>EE Times采訪時(shí)。
至關(guān)重要的是,這可以由非專家完成,而無(wú)需具備深厚的AI專業(yè)知識(shí)或FPGA技能,因?yàn)闊o(wú)需進(jìn)行模型再培訓(xùn)即可過(guò)渡。
“易用性非常重要,因?yàn)楫?dāng)您查看人們的AI項(xiàng)目時(shí),他們通常無(wú)法訪問(wèn)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的AI團(tuán)隊(duì),” Larzul說(shuō)。“通常,如果有人安裝了一個(gè)機(jī)器人系統(tǒng)或一個(gè)視頻監(jiān)視系統(tǒng)……他們會(huì)讓其他團(tuán)隊(duì)或其他團(tuán)體開發(fā)神經(jīng)網(wǎng)絡(luò)并對(duì)其進(jìn)行培訓(xùn)。一旦獲得了[訓(xùn)練有素的模型],他們就不會(huì)更改它,因?yàn)樗麄儧]有專業(yè)知識(shí)。”
與Xilinx對(duì)比當(dāng)Xilinx
已經(jīng)擁有自己的神經(jīng)網(wǎng)絡(luò)加速器引擎(XDNN)時(shí),為什么會(huì)支持第三方軟件?
“一句話的重點(diǎn)是:我們做得更好,”拉爾祖爾說(shuō)。“另一句話是:我們的作品。”
Mipsology在Zebra中擁有自己的計(jì)算引擎,該引擎支持客戶現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)(CNN)模型,與XDNN不同,Larzul表示XDNN支持大量演示,但不太適合定制神經(jīng)網(wǎng)絡(luò)。他說(shuō),這使使用XDNN建立和運(yùn)行自定義網(wǎng)絡(luò)“痛苦”。盡管XDNN可以在不受GPU威脅的應(yīng)用程序中競(jìng)爭(zhēng),但Zebra旨在使FPGA根據(jù)性能,成本和易用性直接采用GPU。
Larzul說(shuō),大多數(shù)客戶改變GPU解決方案的動(dòng)機(jī)是成本。
他說(shuō):“他們想降低硬件成本,但又不想重新設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)?!?/span>“(避免了)一筆非經(jīng)常性的費(fèi)用,因?yàn)槲覀兡軌蛲该鞯靥鎿QGPU,并且無(wú)需重新訓(xùn)練或修改神經(jīng)網(wǎng)絡(luò)?!?/span>
FPGA還具有可靠性,部分原因是因?yàn)樗鼈冊(cè)?a target="_blank">芯片領(lǐng)域不那么積極,并且通常比包括GPU在內(nèi)的其他加速器類型運(yùn)行溫度更低。這在需要長(zhǎng)期維護(hù)成本的數(shù)據(jù)中心中尤其重要。
拉爾祖爾說(shuō):“總擁有成本不僅僅是董事會(huì)的價(jià)格?!?/span>“確保系統(tǒng)正常運(yùn)行還需要付出代價(jià)。”
Zebra還旨在使FPGA在性能上競(jìng)爭(zhēng)。Larzul說(shuō),盡管FPGA通常提供比其他加速器更少的TOPS(每秒Tera操作),但由于Zebra精心設(shè)計(jì)的計(jì)算引擎,它們能夠更有效地使用TOPS。
“這是大多數(shù)加速AI的ASIC初創(chuàng)企業(yè)都忘記了的-他們?cè)谧龊艽蟮囊粔K硅片,試圖包裝更多的TOPS,但是他們沒有考慮如何在網(wǎng)絡(luò)上映射它以提高效率”,他說(shuō),并指出Zebra的基于FPGA的引擎比TOPS量為6倍的GPU每秒能夠處理更多圖像。
如何實(shí)現(xiàn)的?盡管Larzul沒有提供確切的細(xì)節(jié),但他確實(shí)表示它們不依賴修剪,因?yàn)榫冉档吞螅灾劣诓贿M(jìn)行重新培訓(xùn)就無(wú)法接受。由于相同的原因,它們不使用極限量化(低于8位)。
Zebra的引擎加快了CNN的速度,而CNN如今已廣泛用于圖像和視頻處理應(yīng)用程序,但Zebra也可以應(yīng)用于使用類似數(shù)學(xué)概念的BERT(Google的自然語(yǔ)言處理模型)。Zebra的未來(lái)迭代可能會(huì)覆蓋其他類型的神經(jīng)網(wǎng)絡(luò),包括LSTM(長(zhǎng)期短期記憶)和RNN(遞歸神經(jīng)網(wǎng)絡(luò)),但這很難實(shí)現(xiàn),因?yàn)镽NN在數(shù)學(xué)上更加多樣化。
EVE
Mipsology的團(tuán)隊(duì)成立于2015年,在法國(guó)約有30人從事研發(fā)工作,在加利福尼亞有一個(gè)小團(tuán)隊(duì),主要負(fù)責(zé)業(yè)務(wù)發(fā)展。該公司已獲得總計(jì)700萬(wàn)美元的資金,其中200萬(wàn)美元是2019年法國(guó)政府創(chuàng)新競(jìng)賽的獎(jiǎng)金。
Mipsology的核心團(tuán)隊(duì)來(lái)自EVE,這是一家ASIC仿真器公司,于2012年被Synopsys收購(gòu),用于其ZeBu(零錯(cuò)誤)硬件輔助驗(yàn)證產(chǎn)品,當(dāng)時(shí)是Cadence鈀金驗(yàn)證平臺(tái)的競(jìng)爭(zhēng)對(duì)手。Larzul認(rèn)為,幾乎所有主要的ASIC公司都使用EVE技術(shù)在設(shè)計(jì)周期內(nèi)驗(yàn)證ASIC。該技術(shù)依賴于連接在一起的數(shù)千個(gè)FPGA來(lái)重現(xiàn)ASIC行為。
Mipsology擁有12項(xiàng)正在申請(qǐng)的專利,并且與Xilinx密切合作,并且與第三方加速器卡兼容,例如Western Digital小型(SFF U.2)卡和Vega-4001等研華卡。
-
FPGA
+關(guān)注
關(guān)注
1624文章
21573瀏覽量
600704 -
gpu
+關(guān)注
關(guān)注
27文章
4640瀏覽量
128480 -
AI
+關(guān)注
關(guān)注
87文章
29438瀏覽量
267755
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論