微軟發(fā)布基于FPGA的深度學(xué)習(xí)平臺(tái)Brainwave

據(jù)微軟官方博客顯示，當(dāng)使用英特爾Stratix 10 FPGA時(shí)，Brainwave可在無(wú)批處理的情況下支持每秒39.5萬(wàn)億次浮點(diǎn)運(yùn)算。

這已經(jīng)不是微軟第一次提出Brainwave的概念，過(guò)去幾年中微軟一直嘗試用FPGA提升必應(yīng)（Bing）與Azure的性能與效率。微軟希望賦予開(kāi)發(fā)人員FPGA處理能力，幫助他們運(yùn)行復(fù)雜的任務(wù)。因此，這套深度學(xué)習(xí)加速平臺(tái)應(yīng)運(yùn)而生。

微軟在官方博客上公布了Brainwave的三個(gè)層面：高性能分布式系統(tǒng)架構(gòu)，集成至FPGA上的深度神經(jīng)網(wǎng)絡(luò)(DNN)引擎，可低摩擦部署訓(xùn)練模型的編譯器和runtime。Brainwave利用了大量微軟在過(guò)去幾年里部署的FPGA架構(gòu)。通過(guò)將高性能FPGA鏈接到數(shù)據(jù)中心網(wǎng)絡(luò)，微軟讓DNN支持硬件微服務(wù)。其中DNN可被映射到一個(gè)遠(yuǎn)程的FPGA池，由一個(gè)loop中沒(méi)有軟件的服務(wù)器調(diào)用。

這種系統(tǒng)架構(gòu)既降低了延遲，并且CPU無(wú)需處理傳入的請(qǐng)求，允許非常高的吞吐量，所以FPGA處理請(qǐng)求的速度和網(wǎng)絡(luò)傳輸速度一樣快。Brainwave使用了集成至商用FPGA上的強(qiáng)大的“軟”DNN處理單元（DPU）。不論科技巨頭還是初創(chuàng)公司，很多公司正在構(gòu)建“硬化”的DPU。盡管其中有些芯片峰值性能很強(qiáng)，但必須在設(shè)計(jì)時(shí)就選好操作符和數(shù)據(jù)類(lèi)型，這限制了它們的靈活性。

微軟的解決辦法不同，它提供了跨系列的數(shù)據(jù)類(lèi)型，可在合成時(shí)間內(nèi)決策。該設(shè)計(jì)將ASIC數(shù)字信號(hào)處理模塊、FPGA和合成邏輯三者結(jié)合，提供了更龐大、數(shù)量上更優(yōu)化的功能單元。此外，Brainwave內(nèi)置一個(gè)支持各種流行的深度學(xué)習(xí)框架的軟件棧，目前Microsoft Cognitive Toolkit（CNTK）、Tensorflow均已兼容，微軟計(jì)劃支持更多框架。

在這里，微軟定義了一種基于圖的中間表示，先將模型轉(zhuǎn)換為受歡迎的框架，然后再編譯到高性能的基礎(chǔ)架構(gòu)中。微軟在官方博客中表示，他們將盡快通過(guò)Azure向外部開(kāi)發(fā)者提供FPGA，讓用戶通過(guò)微軟的服務(wù)間接訪問(wèn)。據(jù)外媒ZDNet報(bào)道，微軟并不是唯一一家在云數(shù)據(jù)中心朝FPGA發(fā)展的公司，亞馬遜和谷歌都在使用定制芯片處理AI任務(wù)。