FPGA取代AI加速器中的GPU

AI軟件初創(chuàng)公司Mipsology正在與Xilinx合作，以使FPGA能夠僅使用一個(gè)附加命令即可替換AI加速器應(yīng)用程序中的GPU。Mipsology的“零努力”軟件Zebra將GPU代碼轉(zhuǎn)換為可在FPGA上的Mipsology的AI計(jì)算引擎上運(yùn)行，而無(wú)需進(jìn)行任何代碼更改或重新培訓(xùn)。

賽靈思今天宣布，將為數(shù)據(jù)中心向Zebra交付最新版本的Alveo U50卡。Zebra已經(jīng)在其他Xilinx板上支持推理加速，包括Alveo U200和Alveo U250。

Xilinx營(yíng)銷副總裁Ramine Roane表示：“ Zebra帶給我們的Alveo卡的加速水平使CPU和GPU加速器感到羞愧?！?/span>“與Zebra結(jié)合使用，Alveo U50滿足了AI工作負(fù)載的靈活性和性能需求，并為任何部署提供了高吞吐量和低延遲性能優(yōu)勢(shì)。”

過(guò)去，即插即用的FPGA對(duì)于非專業(yè)人士來(lái)說(shuō)很難編程，但是Mipsology希望將FPGA變成即插即用的解決方案，就像CPU或GPU一樣容易使用。這樣做的想法是使從其他類型的加速切換到FPGA盡可能容易。

Mipsology首席執(zhí)行官Ludovic Larzul說(shuō)：“最好的方式是[Mipsology]，我們使用FPGA之上的軟件來(lái)使它們透明化，就像Nvidia用Cuda CuDNN來(lái)使GPU對(duì)AI用戶完全透明一樣?！霸诮邮?/span>EE Times采訪時(shí)。

至關(guān)重要的是，這可以由非專家完成，而無(wú)需具備深厚的AI專業(yè)知識(shí)或FPGA技能，因?yàn)闊o(wú)需進(jìn)行模型再培訓(xùn)即可過(guò)渡。

“易用性非常重要，因?yàn)楫?dāng)您查看人們的AI項(xiàng)目時(shí)，他們通常無(wú)法訪問(wèn)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的AI團(tuán)隊(duì)，” Larzul說(shuō)。“通常，如果有人安裝了一個(gè)機(jī)器人系統(tǒng)或一個(gè)視頻監(jiān)視系統(tǒng)……他們會(huì)讓其他團(tuán)隊(duì)或其他團(tuán)體開發(fā)神經(jīng)網(wǎng)絡(luò)并對(duì)其進(jìn)行培訓(xùn)。一旦獲得了[訓(xùn)練有素的模型]，他們就不會(huì)更改它，因?yàn)樗麄儧]有專業(yè)知識(shí)。”

與Xilinx對(duì)比當(dāng)Xilinx
已經(jīng)擁有自己的神經(jīng)網(wǎng)絡(luò)加速器引擎（XDNN）時(shí)，為什么會(huì)支持第三方軟件？

“一句話的重點(diǎn)是：我們做得更好，”拉爾祖爾說(shuō)。“另一句話是：我們的作品。”

Mipsology在Zebra中擁有自己的計(jì)算引擎，該引擎支持客戶現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型，與XDNN不同，Larzul表示XDNN支持大量演示，但不太適合定制神經(jīng)網(wǎng)絡(luò)。他說(shuō)，這使使用XDNN建立和運(yùn)行自定義網(wǎng)絡(luò)“痛苦”。盡管XDNN可以在不受GPU威脅的應(yīng)用程序中競(jìng)爭(zhēng)，但Zebra旨在使FPGA根據(jù)性能，成本和易用性直接采用GPU。

Larzul說(shuō)，大多數(shù)客戶改變GPU解決方案的動(dòng)機(jī)是成本。

他說(shuō)：“他們想降低硬件成本，但又不想重新設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)?！?/span>“（避免了）一筆非經(jīng)常性的費(fèi)用，因?yàn)槲覀兡軌蛲该鞯靥鎿QGPU，并且無(wú)需重新訓(xùn)練或修改神經(jīng)網(wǎng)絡(luò)?！?/span>

FPGA還具有可靠性，部分原因是因?yàn)樗鼈冊(cè)?a target="_blank">芯片領(lǐng)域不那么積極，并且通常比包括GPU在內(nèi)的其他加速器類型運(yùn)行溫度更低。這在需要長(zhǎng)期維護(hù)成本的數(shù)據(jù)中心中尤其重要。

拉爾祖爾說(shuō)：“總擁有成本不僅僅是董事會(huì)的價(jià)格?！?/span>“確保系統(tǒng)正常運(yùn)行還需要付出代價(jià)。”

Zebra還旨在使FPGA在性能上競(jìng)爭(zhēng)。Larzul說(shuō)，盡管FPGA通常提供比其他加速器更少的TOPS（每秒Tera操作），但由于Zebra精心設(shè)計(jì)的計(jì)算引擎，它們能夠更有效地使用TOPS。

“這是大多數(shù)加速AI的ASIC初創(chuàng)企業(yè)都忘記了的-他們?cè)谧龊艽蟮囊粔K硅片，試圖包裝更多的TOPS，但是他們沒有考慮如何在網(wǎng)絡(luò)上映射它以提高效率”，他說(shuō)，并指出Zebra的基于FPGA的引擎比TOPS量為6倍的GPU每秒能夠處理更多圖像。

如何實(shí)現(xiàn)的？盡管Larzul沒有提供確切的細(xì)節(jié)，但他確實(shí)表示它們不依賴修剪，因?yàn)榫冉档吞螅灾劣诓贿M(jìn)行重新培訓(xùn)就無(wú)法接受。由于相同的原因，它們不使用極限量化（低于8位）。

Zebra的引擎加快了CNN的速度，而CNN如今已廣泛用于圖像和視頻處理應(yīng)用程序，但Zebra也可以應(yīng)用于使用類似數(shù)學(xué)概念的BERT（Google的自然語(yǔ)言處理模型）。Zebra的未來(lái)迭代可能會(huì)覆蓋其他類型的神經(jīng)網(wǎng)絡(luò)，包括LSTM（長(zhǎng)期短期記憶）和RNN（遞歸神經(jīng)網(wǎng)絡(luò)），但這很難實(shí)現(xiàn)，因?yàn)镽NN在數(shù)學(xué)上更加多樣化。

EVE
Mipsology的團(tuán)隊(duì)成立于2015年，在法國(guó)約有30人從事研發(fā)工作，在加利福尼亞有一個(gè)小團(tuán)隊(duì)，主要負(fù)責(zé)業(yè)務(wù)發(fā)展。該公司已獲得總計(jì)700萬(wàn)美元的資金，其中200萬(wàn)美元是2019年法國(guó)政府創(chuàng)新競(jìng)賽的獎(jiǎng)金。

Mipsology的核心團(tuán)隊(duì)來(lái)自EVE，這是一家ASIC仿真器公司，于2012年被Synopsys收購(gòu)，用于其ZeBu（零錯(cuò)誤）硬件輔助驗(yàn)證產(chǎn)品，當(dāng)時(shí)是Cadence鈀金驗(yàn)證平臺(tái)的競(jìng)爭(zhēng)對(duì)手。Larzul認(rèn)為，幾乎所有主要的ASIC公司都使用EVE技術(shù)在設(shè)計(jì)周期內(nèi)驗(yàn)證ASIC。該技術(shù)依賴于連接在一起的數(shù)千個(gè)FPGA來(lái)重現(xiàn)ASIC行為。

Mipsology擁有12項(xiàng)正在申請(qǐng)的專利，并且與Xilinx密切合作，并且與第三方加速器卡兼容，例如Western Digital小型（SFF U.2）卡和Vega-4001等研華卡。