在深度學(xué)習(xí)的概念中,通??梢院?jiǎn)化為兩大工作流,一是訓(xùn)練,二是推理。兩者完美融合才是一個(gè)現(xiàn)代化的完整深度學(xué)習(xí)網(wǎng)絡(luò),缺一不可。訓(xùn)練用于調(diào)整神經(jīng)網(wǎng)絡(luò)模型的參數(shù),從而在給定的數(shù)據(jù)上實(shí)現(xiàn)良好的表現(xiàn);推理則用于執(zhí)行訓(xùn)練過(guò)的神經(jīng)網(wǎng)絡(luò)模型,以在新數(shù)據(jù)上獲得輸出。
為了讓一個(gè)模型用于特定的用例,比如圖像識(shí)別、語(yǔ)音識(shí)別等,開發(fā)者必須要先訓(xùn)練這個(gè)模型。一旦模型訓(xùn)練完成后,就可以投入使用(用于推理)。這兩大工作流有著類似的特點(diǎn),但對(duì)硬件資源的要求卻存在一定的差距。
以訓(xùn)練來(lái)說(shuō),硬件需要的是大帶寬大容量的內(nèi)存,所以芯片之間的互聯(lián)相當(dāng)重要,當(dāng)然了這些需求會(huì)極大地增加BOM和功耗。而推理則常用于自然語(yǔ)言處理、推薦系統(tǒng)和語(yǔ)音識(shí)別這樣的實(shí)時(shí)應(yīng)用中,因此必須做到低延遲、高吞吐量,再者由于更加貼近應(yīng)用端,所以低功耗和低成本也是這類AI推理硬件的首選特性。
而這幾年間,不少半導(dǎo)體公司、云服務(wù)廠商和初創(chuàng)AI芯片公司都在AI推理上頻頻布局,甚至收購(gòu)了不少企業(yè)來(lái)放大優(yōu)勢(shì)或補(bǔ)全短板,尤其是“御三家”英偉達(dá)、英特爾和AMD。筆者這里特地選擇了三家的代表性產(chǎn)品,以及他們走的不同技術(shù)路線。
市場(chǎng)與生態(tài)的寵兒——GPU王牌部隊(duì)
自英偉達(dá)從2010年推出M2050專業(yè)GPU,并大肆推行GPGPU在AI推理上的應(yīng)用后,英偉達(dá)DGX產(chǎn)品線在AI推理算力上的占比就在一路走高。2020年阿里云、AWS和騰訊云等公有云平臺(tái)中,英偉達(dá)GPU AI推理算力超過(guò)了100 exaflops,也首次奪下了云端CPU統(tǒng)治多年的推理算力寶座,這其中的旗艦就是A100 GPU。
A100 SXM / 英偉達(dá)
我們以旗艦型號(hào)A100 80GB SXM為例,318 TFLOPS的TF32算力,1248 TOPS的INT8算力,80GB的GPU內(nèi)存帶寬達(dá)到了2039GB/s。不僅支持NVLink600GB/s的互聯(lián),也支持64GB/s的PCIe4.0互聯(lián)。A100還可以被分為7個(gè)獨(dú)立的GPU實(shí)例,無(wú)論是端到端AI還是數(shù)據(jù)中心的HPC平臺(tái),都適合該GPU大顯身手。
但A100的缺點(diǎn)也相當(dāng)明顯,第一就是功耗,高達(dá)400W的功耗讓這張卡成了很多AI推理加速器競(jìng)相對(duì)比能效比的對(duì)象。其次就是價(jià)格,高達(dá)一萬(wàn)美元以上的單價(jià)讓不少人望而卻步,至少個(gè)人開發(fā)者使用GPU或基于該GPU的云服務(wù)器的話,不免會(huì)肉疼好一陣了。
靈活的代表——FPGA抵抗軍
對(duì)于AMD來(lái)說(shuō),過(guò)去主要是與英偉達(dá)、英特爾在一些通用計(jì)算領(lǐng)域進(jìn)行交鋒,而在AI訓(xùn)練和推理上,AMD其實(shí)并沒(méi)有推出太多針對(duì)這類應(yīng)用的方案,直到對(duì)Xilinx的收購(gòu)。不可置否的是,AMD在數(shù)據(jù)中心和HPC已經(jīng)嶄露頭角,甚至開始拔尖,但AI推理可以說(shuō)一直是AMD的弱勢(shì)所在。
其實(shí)收購(gòu)的部分原因,也要?dú)w功于Xilinx在AI市場(chǎng)上得天獨(dú)厚的優(yōu)勢(shì),而這種優(yōu)勢(shì)在兩家聯(lián)手之下更加明顯,這一點(diǎn)早在過(guò)去的合作中就可以看出來(lái)。2018年的Xilinx開發(fā)者論壇上,AMD的EPYC CPU和Xilinx的AlveoU250在GoogLeNet CNN框架上實(shí)現(xiàn)了3萬(wàn)張圖片每秒的世界記錄級(jí)吞吐量。目前不少公有云廠商也在用Xilinx的FPGA方案,比如阿里云就有基于XilinxVU9P的方案。
VCK5000 / Xilinx
Xilinx最近也推出了全新的VCK5000AI加速器,該卡基于Xilinx7nm的VersalACAP架構(gòu),專為高吞吐量的AI推理打造。從紙面參數(shù)上看,這張卡好像性能不算強(qiáng)大,在ResNet-50的吞吐量上只能算優(yōu)于英偉達(dá)的T4顯卡,但VCK5000還準(zhǔn)備了一些奇招。
電路中有個(gè)叫做暗硅(DarkSilicon)的概念,指的就是在功耗限制下,處理器電路上常常出現(xiàn)“一方有難,多方看戲”的情況,所以實(shí)際的效能根本達(dá)不到紙面參數(shù)。而Xilinx稱VCK5000將實(shí)際效率推至90%,相較英偉達(dá)GPU普遍低于50%的效率可謂秒殺了,甚至高過(guò)A100。成本上,VCK5000的單價(jià)也做到了2745美元,從性價(jià)比和TCO來(lái)說(shuō),F(xiàn)PGA方案可以說(shuō)是真香了。
初創(chuàng)公司首選——ASIC異軍突起
作為英特爾在2019年收購(gòu)的一家以色列人工智能公司,Habana倒是很少出現(xiàn)在人們的視線中,遠(yuǎn)不如同被英特爾收購(gòu)的以色列自動(dòng)駕駛芯片公司Mobileye或是晶圓代工廠TowerSemiconductor那般高調(diào),但他們給英特爾帶來(lái)的AI方案還是有點(diǎn)東西的。
HL-100 / Habana
Habana擁有兩大產(chǎn)品線,一是主打訓(xùn)練的Gaudi系列,二是主打推理的Goya系列。雖然兩者采用了不同的芯片設(shè)計(jì),但仍基于相同的基本架構(gòu)(TPC),只不過(guò)是針對(duì)兩種工作負(fù)載做了優(yōu)化而已。同樣以ResNet50的吞吐量作為比較,在Batch大小為10時(shí),基于Goya的HL-100加速卡可以做到15488張圖片每秒的吞吐量,更吃驚的是其延遲可以做到0.8ms。對(duì)于延遲敏感型應(yīng)用來(lái)說(shuō),Goya很可能就是最佳的選擇。
不過(guò)HL-100的TPC還只是基于臺(tái)積電的16nm工藝而已,而基于更先進(jìn)的工藝的TPC和HL-200系列遲遲沒(méi)有消息公布。不知是不是Habana打算在新產(chǎn)品上直接用上英特爾的工藝。
孰優(yōu)孰劣?還是取決于生態(tài)和市場(chǎng)選擇
要想對(duì)比這三家AI推理加速器的性能著實(shí)有些困難,且不說(shuō)三者在規(guī)模和功耗上的不同,所用系統(tǒng)、軟件、模型、數(shù)據(jù)集和測(cè)試環(huán)境也都是各不一樣。那么對(duì)于AI開發(fā)者來(lái)說(shuō),應(yīng)該如何選擇呢?我們不妨從市場(chǎng)和生態(tài)的角度來(lái)看。
首先是市場(chǎng)的主流選擇,無(wú)疑目前市面應(yīng)用占比最多的還是英偉達(dá)旗下的加速器,這在數(shù)據(jù)中心和超算等場(chǎng)景中都能看出來(lái),無(wú)論是訓(xùn)練還是推理,云服務(wù)廠商推出最多的旗艦實(shí)例基本都是基于英偉達(dá)的A100、A30等GPU,在其TensorRT推理框架的大力推動(dòng)下,英偉達(dá)占據(jù)了絕對(duì)的主導(dǎo)位置。然而作為通用方案,英偉達(dá)的A100在總體性能上雖然不錯(cuò),但泛用性還是無(wú)法覆蓋到一些特定的應(yīng)用。比如主打超低延遲或超高吞吐量的場(chǎng)景,可能還是不如FPGA或推理專用ASIC給到的吸引力高,更不用說(shuō)這些方案在成本上的優(yōu)勢(shì)了。
反觀Xilinx的VCK5000,單純比算力的話,F(xiàn)PGA與GPU、ASIC相比優(yōu)勢(shì)不大,倒是FPGA的可編程靈活性為開發(fā)帶來(lái)了不少便利,可隨時(shí)更新和優(yōu)化硬件加速而無(wú)需重新設(shè)計(jì)硬件。但不少AI開發(fā)者可能看到Xilinx這個(gè)大名就望而生畏,紛紛表示自己一個(gè)深度學(xué)習(xí)“煉丹師”,可不想學(xué)Verilog之類的RTL編程設(shè)計(jì)。這也是為何英特爾和Xilinx等FPGA廠商近年來(lái)開始在軟件上發(fā)力的原因,像Xilinx Vitis這樣的統(tǒng)一軟件,可以說(shuō)給了一個(gè)面向全平臺(tái)開發(fā)者的方案,直接支持到Pytorch和TensorFlow這些主流的框架和模型。
至于Habana的Goya這種產(chǎn)品形式,其實(shí)是目前不少初創(chuàng)公司走的路線。與以上GPU和FPGA方案相比,他們?cè)谲浖_發(fā)上要花費(fèi)更多的心力,所以不少初創(chuàng)企業(yè)的AI加速器支持的框架和模型都不是太多,支持的程度也尚未完善。至于市場(chǎng)反響來(lái)看,Goya也不比Habana的Gaudi訓(xùn)練加速器,后者已經(jīng)有了基于該硬件的AWS實(shí)例,而Goya目前已知的應(yīng)用還是超算。未來(lái)Goya面向的,可能還是比較“?!钡膱?chǎng)景。
-
FPGA
+關(guān)注
關(guān)注
1624文章
21573瀏覽量
600704 -
gpu
+關(guān)注
關(guān)注
27文章
4640瀏覽量
128480 -
AI
+關(guān)注
關(guān)注
87文章
29438瀏覽量
267755
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論