浪潮發(fā)力助推TF2 FPGA高效AI計(jì)算開源框架

　　近日，浪潮宣布為可重構(gòu)AI計(jì)算發(fā)展計(jì)劃參與者提供最新FPGA加速卡支持。參與該計(jì)劃的高校將FPGA開源AI框架TF2應(yīng)用于AI科研或應(yīng)用并取得創(chuàng)新成果，并承諾將優(yōu)化后代碼反饋回TF2開源社區(qū)，即可獲贈(zèng)最新FPGA加速卡。同時(shí)，參與該計(jì)劃的商業(yè)用戶也可獲得較大程度的FPGA加速卡購買優(yōu)惠。該計(jì)劃可在TF2開源社區(qū)進(jìn)行申請(qǐng)。目前南開大學(xué)等知名高校已加入該計(jì)劃。

　　FPGA技術(shù)具有可定制性、低延遲和高性能功耗比等優(yōu)勢(shì)，已成為諸多AI用戶部署推理應(yīng)用的選擇。但FPGA技術(shù)進(jìn)入到大規(guī)模AI業(yè)務(wù)部署仍舊存在軟件編寫門檻高、性能優(yōu)化受限、功耗難以控制等諸多挑戰(zhàn)。為了應(yīng)對(duì)這些挑戰(zhàn)，浪潮推出了開源的TF2框架。

　　TF2是全球首個(gè)完整方案的FPGA高效AI計(jì)算開源框架，可對(duì)模型進(jìn)行壓縮、裁剪、量化等優(yōu)化轉(zhuǎn)換以減少模型計(jì)算量，將模型文件自動(dòng)轉(zhuǎn)化為FPGA目標(biāo)運(yùn)行文件，降低FPGA的AI軟件實(shí)現(xiàn)門檻，通過創(chuàng)新的DNN移位計(jì)算技術(shù)大幅提升FPGA做推理計(jì)算的性能，并有效降低其實(shí)際運(yùn)行功耗，幫助用戶快速實(shí)現(xiàn)FPGA線上推理。在浪潮F10A FPGA卡上采用FaceNet模型對(duì)TF2進(jìn)行的測(cè)試（BatchSize=1）表明，運(yùn)行TF2后單張圖片的計(jì)算耗時(shí)為0.612ms，提速12.8倍。目前，TF2開源社區(qū)已吸引第四范式、快手、上海大學(xué)、華大智造、遠(yuǎn)鑒科技、睿視智覺、華展匯元等多家領(lǐng)先公司或機(jī)構(gòu)加入。

　　TF2計(jì)算加速流程

　　為了推動(dòng)TF2社區(qū)建設(shè)，浪潮推出了可重構(gòu)AI計(jì)算發(fā)展計(jì)劃，為參與者提供F10A、F37X等最新FPGA加速卡支持，鼓勵(lì)參與者將創(chuàng)新性成果反饋至社區(qū)，共同促進(jìn)FPGA技術(shù)的開源開放合作發(fā)展，降低高性能AI計(jì)算技術(shù)門檻，加速AI應(yīng)用落地。浪潮F10A是目前業(yè)界支持OpenCL的最高性能密度的FPGA加速卡，每瓦特性能達(dá)到42GFlops，已實(shí)現(xiàn)大規(guī)模應(yīng)用部署，適用于數(shù)據(jù)中心AI推理、邊緣高密計(jì)算及桌面端應(yīng)用加速等多種計(jì)算環(huán)境；浪潮F37X是全球首款集成HBM2的FPGA加速卡，可在75W典型功耗條件下，提供28.1TOPS INT8計(jì)算性能。此外，浪潮還將提供針對(duì)性的技術(shù)培訓(xùn)和服務(wù)支持，并定期舉行開發(fā)者會(huì)議和線上公開課，分享最新技術(shù)進(jìn)展和經(jīng)驗(yàn)成果。

　　浪潮AI&HPC總經(jīng)理劉軍表示：“視覺、語音識(shí)別以及文本、語義理解等人工智能技術(shù)正在與各行業(yè)融合，以FPGA為代表的可重構(gòu)計(jì)算將在各類線上推理場(chǎng)景中得到更廣泛的應(yīng)用。浪潮希望通過可重構(gòu)AI計(jì)算發(fā)展計(jì)劃促進(jìn)TF2開源社區(qū)發(fā)展，同時(shí)增進(jìn)開發(fā)者對(duì)最新FPGA計(jì)算加速技術(shù)的熟悉和了解，最大化釋放FPGA的計(jì)算潛力，加速產(chǎn)業(yè)AI化進(jìn)程?！?/p>

　　浪潮是人工智能計(jì)算的領(lǐng)導(dǎo)品牌，AI服務(wù)器中國市場(chǎng)份額保持50%以上。并與人工智能領(lǐng)先科技公司保持在系統(tǒng)與應(yīng)用方面的深入緊密合作，幫助AI客戶在語音、語義、圖像、視頻、搜索、網(wǎng)絡(luò)等方面取得數(shù)量級(jí)的應(yīng)用性能提升。