加速AI落地、推動邊緣計算應(yīng)用實踐——開放計算在中國行至高潮

8年后，在中國再談開放計算，不論是技術(shù)原動力還是整個產(chǎn)業(yè)生態(tài)，都有了翻天覆地的變化。

時間撥回2011年，F(xiàn)acebook 主導(dǎo)發(fā)起了OCP（Open Compute Project; 開放計算項目），旨在以開源開放的方式，重構(gòu)當(dāng)時的數(shù)據(jù)中心硬件，發(fā)展面向下一代數(shù)據(jù)中心的服務(wù)器、存儲、網(wǎng)絡(luò)、基礎(chǔ)設(shè)施等。
當(dāng)時，我國互聯(lián)網(wǎng)技術(shù)正以驚奇世界的姿態(tài)飛速發(fā)展著。軟件開源已經(jīng)成為趨勢，但如果你提到硬件開源，那年剛剛出現(xiàn)的從英文“Maker”翻譯過來的“創(chuàng)客”，會和你聊聊樹莓派，聊聊包括電路原理圖、設(shè)計圖在內(nèi)的開源許可。

但這并不是OCP的著眼點，IT基礎(chǔ)設(shè)施才是。

同年，阿里巴巴、百度、騰訊三家發(fā)起ODCC組織的前身“天蝎計劃”，并在同年年底確立了最初的技術(shù)規(guī)范。

百度從2011到2014年間，幾乎花了3年的時間與OCP社區(qū)進(jìn)行溝通，試圖推動在數(shù)據(jù)中心的分享與合作。但現(xiàn)實的反差是巨大的，由于國內(nèi)外數(shù)據(jù)中心的巨大差異、地區(qū)的差異、認(rèn)知的差異等限制，最終沒有達(dá)成共識。

時間來到2019年，國內(nèi)互聯(lián)網(wǎng)和泛互聯(lián)網(wǎng)產(chǎn)業(yè)取得長足發(fā)展，也使得更多的中國企業(yè)共同站在這個舞臺上面向未來進(jìn)行深入探討。今年也是繼2014年之后，百度重新回歸OCP。此時，OCP的成員企業(yè)大約達(dá)到200家，包括英特爾、谷歌、微軟、Facebook、LinkedIn以及中國的阿里巴巴、百度、騰訊、浪潮等，囊括了全球服務(wù)器采購量最大的企業(yè)用戶。

浪潮與OCP聯(lián)合主辦的首屆OCP China Day（開放計算中國日）6月25日在北京舉行，那么，現(xiàn)在在中國聊起開放計算，我們都在關(guān)注什么？

關(guān)注一：OAM——簡化AI基礎(chǔ)架構(gòu)設(shè)計，加速創(chuàng)新設(shè)計

AI是OCP China Day上多次被提及的話題之一。

伴隨著AI的火熱，有越來越多的AI芯片出現(xiàn)。但是在推動芯片落地時卻發(fā)現(xiàn)很大的問題，需要從零開始進(jìn)行板卡兼容等工作。AI加速器越來越多，技術(shù)更新也越來越快，AI硬件系統(tǒng)的技術(shù)挑戰(zhàn)和設(shè)計復(fù)雜度在增加，將加速器集成到系統(tǒng)中通常需要大約6-12個月。這種延遲阻礙了AI加速器的快速采用。

基于此，OCP社區(qū)在服務(wù)器項目組下設(shè)立了OAI（OpenAccelerator Infrastructure）小組，負(fù)責(zé)開發(fā)OAM（OCP Accelerator Module）規(guī)范，將加速器模塊標(biāo)準(zhǔn)化，簡化AI基礎(chǔ)架構(gòu)的設(shè)計，縮短硬件設(shè)計周期。OAM規(guī)范的內(nèi)容包括電源/冷卻，穩(wěn)健性，可維護(hù)性，配置，編程，管理和調(diào)試，以及模塊間通信，以擴(kuò)展和輸入/輸出帶寬。OAM目前仍在開發(fā)階段，已經(jīng)在3月14日公布了第一個非正式版本V0.85，4月30日公布了第二個非正式版本0.9。OAM標(biāo)準(zhǔn)，就是針對上述問題設(shè)計的一套指導(dǎo)AI硬件加速模塊和系統(tǒng)設(shè)計的標(biāo)準(zhǔn)，它集合定義了AI硬件加速模塊本身、主板、互聯(lián)拓?fù)?、機(jī)箱、供電、散熱以及系統(tǒng)管理等系列設(shè)計規(guī)范，主要目標(biāo)是通過模塊化、標(biāo)準(zhǔn)化來增強(qiáng)不同AI硬件加速模塊和系統(tǒng)的互操作性，加速新的AI硬件加速模塊的落地和應(yīng)用。

為什么需要OAM？

先從典型的AI加速系統(tǒng)設(shè)計來看，它通常由三部分構(gòu)成，包括承載多個OAI模塊的基板，控制整個系統(tǒng)執(zhí)行流程的CPU，連接AI芯片和CPU的PCIe開關(guān)。由于PCIe供電能力有限，無法很好地支持高速互聯(lián)，所以出現(xiàn)了很多新的解決方案，這樣就出現(xiàn)了非標(biāo)準(zhǔn)系統(tǒng)。由于AI芯片之間和CPU之間需要互聯(lián)起來，由于計算節(jié)點的限制，包括對于存儲的需求、I/O互聯(lián)的需求不一樣，所以在設(shè)計PCIe拓?fù)涞臅r候有差異，導(dǎo)致硬件系統(tǒng)適應(yīng)新的需求比較困難。

同時，大規(guī)模的AI的爆發(fā)需要很強(qiáng)大的算力，一個節(jié)點不夠用時，需要更好的擴(kuò)展能力。有兩種典型方式：一是通過傳統(tǒng)的以太網(wǎng)交換機(jī)實現(xiàn)互聯(lián)，但是這個license費用比較高，互聯(lián)的帶寬也是有限的；二是通過新興技術(shù)實現(xiàn)AI加速芯片之間私有的互聯(lián)，這是一種更高速的互聯(lián)，有更低的延時，可以大幅提升大規(guī)模訓(xùn)練的性能。從一個單機(jī)擴(kuò)展到多機(jī)，構(gòu)建了典型的大規(guī)模訓(xùn)練系統(tǒng)。除此之外還有基礎(chǔ)設(shè)施，包括供電、散熱這些很有挑戰(zhàn)的問題。系統(tǒng)內(nèi)不同模塊之間的組合能夠?qū)崿F(xiàn)不同目標(biāo)，取決于系統(tǒng)整體的權(quán)衡。

針對場景眾多的AI應(yīng)用，不論是系統(tǒng)本身的設(shè)計，還是在系統(tǒng)的擴(kuò)展方面，一家公司單槍匹馬攻克了一個目標(biāo)之后，下一個目標(biāo)可能又要重新設(shè)計方案。從這個角度看，長期快速跟進(jìn)甚至引領(lǐng)市場比較困難，所以需要協(xié)作，開放AI加速的基礎(chǔ)架構(gòu)，采用模塊化的思路，增強(qiáng)不同的模塊與系統(tǒng)之間的互操作性，加速相關(guān)技術(shù)的創(chuàng)新，推動新的AI芯片快速落地。

在這一過程中，OCP定義了AI加速的基礎(chǔ)架構(gòu)規(guī)范，把相關(guān)模塊之間的邊界定義清楚，只要滿足相關(guān)接口都可以在系統(tǒng)中共存，這樣可以很好地將共性需求抽離出來，將特定的需求通過模塊化的形式去滿足，能夠更好地加速相關(guān)創(chuàng)新。

當(dāng)前公布的OAM標(biāo)準(zhǔn)，是由參與OCP開放計算項目的百度、微軟、Facebook三家國際AI領(lǐng)先企業(yè)聯(lián)合定義，已經(jīng)得到包括Google、阿里、騰訊等互聯(lián)網(wǎng)企業(yè)，英偉達(dá)、英特爾、AMD、高通、賽靈思等AI芯片企業(yè)，Graphcore、Habana Labs等AI芯片及處理器初創(chuàng)企業(yè)，以及IBM、浪潮等廠商的參與和支持。

關(guān)注二：邊緣計算的應(yīng)用實踐

伴隨著5G的到來，邊緣計算也來了。

目前看來，似乎只有自動駕駛、VR/AR等應(yīng)用場景提出了低延遲、高帶寬的需求，智慧城市、工業(yè)互聯(lián)網(wǎng)等提出了高帶寬、低延時以及安全方面的要求。在此基礎(chǔ)上，如何發(fā)展邊緣計算？如何滿足邊緣計算的需求？仍然不清楚。

針對邊緣計算的實踐，百度提出了“DEC”（Device、Edge、Cloud）算力部署，中國移動認(rèn)為運營商提供分流管道，邊緣計算業(yè)務(wù)由行業(yè)客戶自營。提到邊緣計算，勢必要考慮邊緣服務(wù)器的特性。它需要緊湊、可擴(kuò)展的功能，并且提供短期高溫環(huán)境。

但是，服務(wù)器的研發(fā)周期很長，從研發(fā)到批量供貨需要1年時間，此后還會難以避免的進(jìn)行部分升級換代，比如，主板升級、PCI-E模塊的升級等，這些升級很可能會帶來服務(wù)器主體設(shè)計的重構(gòu)，很多時候不得不從頭開始研發(fā)新一代服務(wù)器。

對邊緣服務(wù)器的看法，中國移動主要看到三方面：業(yè)務(wù)需求、機(jī)房條件和本身的可維護(hù)性。可能在未來邊緣計算的大規(guī)模部署的時候，如果確定了一個比較具體的場景，會有一種模塊化的交付方式，使得能夠非?？焖?，大批量的跟軟件一起來交付。

騰訊與浪潮研發(fā)的T-Flex2.0架構(gòu)就是為了解決上述問題，對空間進(jìn)行有效規(guī)劃, 通過I/O池化技術(shù)（支持PCI-E交換和Gen-z兩類互聯(lián)協(xié)議）支持未來模塊化迭代和靈活組合, 服務(wù)器可以單獨升級部分模塊并不影響其他模塊，T-Fle2.0x是一個更為靈活的架構(gòu)。

從前向后，T-Flex2.0高度為2OU，分為A、B、C等3個區(qū)，每個區(qū)域可以放置不同的模塊，實現(xiàn)服務(wù)器的主體功能，覆蓋各類應(yīng)用場景，甚至可以去掉A區(qū)或者C區(qū)，減少長度成為一款邊緣計算服務(wù)器。

作為OCP、Open19和ODCC全球三大開放計算標(biāo)準(zhǔn)組織的共同成員，浪潮從貢獻(xiàn)IP，參與開發(fā)標(biāo)準(zhǔn)到主導(dǎo)標(biāo)準(zhǔn)制定，在開放硬件社區(qū)中的參與度越來越高，先后貢獻(xiàn)了首批基于Open19標(biāo)準(zhǔn)的服務(wù)器、第一款OCP標(biāo)準(zhǔn)基于Intel Skylake平臺的主板、第一款Olympus四路服務(wù)器。同時，浪潮還參與了OCP OAM項目，牽頭成立了OpenRMC項目，開發(fā)完成了全球第一個基于OCP標(biāo)準(zhǔn)的整機(jī)柜管理架構(gòu)。

關(guān)注三：OpenRMC項目，下一代數(shù)據(jù)中心的管理框架

OpenRMC是OCP社區(qū)硬件管理項目組下的子項目組，由浪潮牽頭成立。該項目目標(biāo)是完成OpenBMC與Redfish的融合，形成下一代數(shù)據(jù)中心管理的統(tǒng)一框架。

OpenBMC是Facebook發(fā)起的開源項目，希望解決閉源的BMC（Baseboard Management Controller，基板管理控制器）以及相關(guān)的軟件包標(biāo)準(zhǔn)不一的問題，這個問題給數(shù)據(jù)中心統(tǒng)一管理帶來了很多技術(shù)障礙。DMTF（Distributed Management Task Force，分布式管理任務(wù)組）制定了下一代服務(wù)器管理技術(shù)標(biāo)準(zhǔn)Redfish，以取代當(dāng)前IPMI 2.0，Redfish具有擴(kuò)展性好、功能豐富、針對地址不同和供應(yīng)商不同的基礎(chǔ)設(shè)施向客戶提供規(guī)范化管理接口的優(yōu)點，能夠滿足現(xiàn)代數(shù)據(jù)中心的管理需求。

OpenRMC項目希望能夠解決兩個標(biāo)準(zhǔn)之間的互操作性等一系列問題，并建立協(xié)同機(jī)制，形成規(guī)范，推進(jìn)下一代數(shù)據(jù)中心管理技術(shù)和產(chǎn)業(yè)的發(fā)展。

未來，數(shù)據(jù)中心繼續(xù)充滿挑戰(zhàn)，數(shù)據(jù)中心整合將繼續(xù)推進(jìn)。邊緣計算也將以更快的速度實現(xiàn)增長。