軟件定義+硬件加速，賽靈思詮釋可組合式的數(shù)據(jù)中心

“數(shù)據(jù)中心并不存在模板，因?yàn)槠涔ぷ髫?fù)載是持續(xù)動(dòng)態(tài)變化的，并不存在單一應(yīng)用主導(dǎo)數(shù)據(jù)中心，因此現(xiàn)在數(shù)據(jù)中心在需求和應(yīng)用上面臨著持續(xù)的變化，在保持可擴(kuò)展性的同時(shí)還必須保證敏捷性，可以不間斷運(yùn)行變化的應(yīng)用，而無(wú)需硬件的升級(jí)和擴(kuò)展。”在賽靈思數(shù)據(jù)中心的春季媒體溝通會(huì)上，數(shù)據(jù)中心市場(chǎng)總監(jiān)Ed Wright說(shuō)道。 本次溝通會(huì)上，賽靈思的主題是可組合性，著重介紹了可組合式的智能NIC、smart world AI視頻分析平臺(tái)以及加速交易算法。

可組合式的智能NIC 針對(duì)以上的需求，賽靈思推出了新型數(shù)據(jù)中心解決方案，業(yè)界首款硬件可組合式的智能NIC——Alveo SN1000。在10G以下的級(jí)別中，市面上多用標(biāo)準(zhǔn)的NIC，因?yàn)榉?wù)器、網(wǎng)絡(luò)到存儲(chǔ)都不需要精心加速，但是在10G到25G級(jí)別上，CPU的內(nèi)核會(huì)開(kāi)始出現(xiàn)一些卡頓，這才出現(xiàn)了卸載NIC減輕CPU負(fù)擔(dān)。但這類(lèi)卸載NIC往往為ASIC，不能重新編程，而且對(duì)網(wǎng)絡(luò)數(shù)據(jù)的卸載也只能滿(mǎn)足10到25G這個(gè)級(jí)別，到了50G乃至100G這樣的端口速率下，CPU內(nèi)核資源會(huì)被網(wǎng)絡(luò)數(shù)據(jù)包的處理大幅占用，這才是可編程智能NIC的設(shè)計(jì)目的。

賽靈思在超大規(guī)模數(shù)據(jù)中心客戶(hù)中發(fā)現(xiàn)，CPU和ASIC很難滿(mǎn)足他們差異化的需求，CPU和SoC的實(shí)現(xiàn)方案則無(wú)法滿(mǎn)足硬件加速的性能要求。SN1000是一個(gè)2x 100GB的智能NIC，基于UltraScale+ FPGA架構(gòu)，另有多核ARM子系統(tǒng)和Vitis Networking功能。有了賽靈思FPGA的靈活應(yīng)變能力，用戶(hù)可以通關(guān)軟件自定義硬件加速，而ARM和Vitis Networking則提供了控制面與數(shù)據(jù)面的分離和自定義編程。SN1000智能NIC支持開(kāi)箱即用、即插即用，因?yàn)橘愳`思已經(jīng)預(yù)想對(duì)OVS、網(wǎng)絡(luò)虛擬化安全和存儲(chǔ)等應(yīng)用進(jìn)行了加速。

賽靈思數(shù)據(jù)中心事業(yè)部網(wǎng)絡(luò)與存儲(chǔ)產(chǎn)品管理總監(jiān)Kartik Srinivasan提到，目前的行業(yè)預(yù)測(cè)下，預(yù)計(jì)2024年這種可編程式的智能NIC將占到整個(gè)市場(chǎng)的70%。目前的SN1000已經(jīng)達(dá)到100G的速率，賽靈思也在積極研究下一代的協(xié)議和速率。除了數(shù)據(jù)中心之外，這些需求也會(huì)慢慢下沉到云服務(wù)供應(yīng)商、電信運(yùn)營(yíng)商和企業(yè)等。 用戶(hù)既可以采用RTL或是高級(jí)綜合等傳統(tǒng)的FPGA編程方法來(lái)對(duì)數(shù)據(jù)面處理，也可以借助第三方來(lái)實(shí)現(xiàn)，比如在賽靈思的應(yīng)用商店中購(gòu)買(mǎi)其他IP的硬件加速功能。賽靈思應(yīng)用商店是賽靈思搭建的一套客戶(hù)方案推廣平臺(tái)，合作伙伴可以用這種全新的方式推給相關(guān)的客戶(hù)。該商店支持本地和云端部署，而且可供用戶(hù)進(jìn)行評(píng)估，由此選擇按需付費(fèi)或永久許可等靈活的部署選項(xiàng)。

賽靈思智能世界
近些年來(lái)，基于AI的視頻分析應(yīng)用開(kāi)始普及，尤其是在口罩識(shí)別、遠(yuǎn)程會(huì)診等安全健康領(lǐng)域上。但這些應(yīng)用日益增加復(fù)雜程度為其創(chuàng)造了挑戰(zhàn)，比如保證確定性的低時(shí)延，以及硬件擴(kuò)充造成的空間和硬件成本。賽靈思為企業(yè)和開(kāi)發(fā)者提供了一套名為“賽靈思智能世界”的AI分析平臺(tái)，既能滿(mǎn)足高復(fù)雜度/模型數(shù)等性能挑戰(zhàn)，又可以做到100毫秒以下的低時(shí)延。 以視頻分析常見(jiàn)的應(yīng)用場(chǎng)景智能零售為例，零售業(yè)由于欺詐每年損失近一千億美元以上，因此多路攝像頭對(duì)成本和時(shí)延都提出了挑戰(zhàn)。而在同條件的測(cè)試場(chǎng)景中，賽靈思智能世界的總擁有成本（TCO）與英偉達(dá)的競(jìng)品T4 GPU相比降低了近30%，比如當(dāng)處理32個(gè)攝像頭的數(shù)據(jù)時(shí)，只需要兩套賽靈思Alveo卡，但英偉達(dá)的T4 GPU則需要用4張。與此同時(shí)，端到端的時(shí)延與該競(jìng)品相比也提速了70%以上。 賽靈思的VMSS平臺(tái)是一個(gè)高度可擴(kuò)展的視頻處理平臺(tái)，哪怕需要增加信道而擴(kuò)充一張卡的情況下，也不會(huì)影響整體的時(shí)延。而且該平臺(tái)的設(shè)計(jì)非常靈活，在沒(méi)有視頻推斷任務(wù)的情況下，可以用作訓(xùn)練、視頻處理和數(shù)據(jù)庫(kù)處理等。 賽靈思數(shù)據(jù)中心部亞太區(qū)數(shù)據(jù)中心的戰(zhàn)略營(yíng)銷(xiāo)經(jīng)理Guruprasad M. Parthasarathy給到了幾個(gè)采用智能世界解決方案的客戶(hù)案例。比如在智能樓宇的應(yīng)用上，騰訊的WeLink是一套采用Aupera創(chuàng)新方案的物聯(lián)網(wǎng)操作系統(tǒng)，而Aupera正是賽靈思智能世界方案的合作伙伴之一。在采用Aupera的邊緣AI計(jì)算方案后，該系統(tǒng)節(jié)省了90%以上的帶寬成本，擺脫了全部交由云服務(wù)器處理的高成本和高時(shí)延。
Guruprasad也提到VMSS集成了很多Alveo硬件方案，比如視頻編碼上用的Alveo U30，視頻推斷采用的是Alveo U50等等。

賽靈思加速算法交易

Ed Wright指出當(dāng)今的算法交易主要分為硬件和軟件兩大交易路徑，而且兩者在性能和能力上都有著較大差異。硬件較算法需要尋求專(zhuān)業(yè)硬件開(kāi)發(fā)商在IT系統(tǒng)上設(shè)計(jì)架構(gòu)，然后再提供解決方案，不僅成本頗高，交期也非常長(zhǎng)，帶來(lái)了極大的商業(yè)風(fēng)險(xiǎn)。尤其是對(duì)于高頻交易市場(chǎng)來(lái)說(shuō)，突破微秒級(jí)時(shí)延壁壘的定制硬件是一條昂貴和耗時(shí)的開(kāi)發(fā)路線。 而賽靈思加速算法交易給到了一套可組合的開(kāi)源交易系統(tǒng)，交易者不僅可以享受毫秒級(jí)時(shí)延的即時(shí)交易。在賽靈思的Vitis軟件平臺(tái)上，開(kāi)發(fā)者可以通過(guò)模塊化的方式來(lái)構(gòu)建并且部署在基于FPGA的Alveo卡上。Vitis不僅支持各種庫(kù)的組合，還支持C和C++語(yǔ)言編程，方便將內(nèi)部應(yīng)用與第三方應(yīng)用進(jìn)行集成。

賽靈思的加速算法交易填補(bǔ)了算法交易中CPU或定制硬件開(kāi)發(fā)中的市場(chǎng)空白，在時(shí)延和開(kāi)發(fā)周期上做到了兩全其美。而且有了現(xiàn)成的Alveo卡，開(kāi)發(fā)者可以免去硬件定制這一流程。只要借助賽靈思的Alveo U50和Alveo U250，就可快捷部署賽靈思的加速交易算法，而且無(wú)需許可費(fèi)用。