關(guān)于CXL的功能與特性詳解

解決處理器與內(nèi)存之間通信瓶頸之路永無(wú)止境。

幾年后，服務(wù)器可能看起來(lái)與現(xiàn)在有所不同，那時(shí)，存儲(chǔ)和處理器會(huì)被放在彼此獨(dú)立的機(jī)箱內(nèi)。一種名為 CXL（Compute Express Link)的互連技術(shù)正在使這成為可能。

CXL是由電腦科技的行業(yè)巨頭組成的聯(lián)盟— Compute Express Link Consortium（CXL Consortium）所開(kāi)發(fā)和定義的，主要成員包括英特爾(Intel)、AMD、三星(Samsung) 、SK海力士(SKHynix)、美光(Micron)、戴爾(Dell)、惠普企業(yè)(Hewlett Packard Enterprise)、Microchip Technolog等。CXL 協(xié)定發(fā)展經(jīng)歷過(guò)1.0、1.1、2.0、以及最新的3.0版本，如今市場(chǎng)上已經(jīng)陸續(xù)出現(xiàn)支援CXL 1.1 和2.0 的產(chǎn)品，3.0 協(xié)定還在開(kāi)發(fā)中；協(xié)定本身更是吸引了一群大型科技公司積極參與其中。

該技術(shù)的升級(jí)規(guī)范，3.1版，于本周發(fā)布。更新提供了更快、更安全的計(jì)算環(huán)境和更強(qiáng)大的技術(shù)基礎(chǔ)，可將數(shù)據(jù)中心轉(zhuǎn)變?yōu)榫扌头?wù)器。

新規(guī)范將支持 DDR6 內(nèi)存，該內(nèi)存仍在開(kāi)發(fā)中。DDR 標(biāo)準(zhǔn)制定組織 JEDEC 尚未廣泛討論 DDR6。

目前，英特爾和AMD的服務(wù)器芯片支持DDR5，但尚未指導(dǎo)芯片組對(duì)DDR6的支持。大多數(shù)硬件和云提供商都支持 CXL。

CXL 3.1 是一年多前推出的 CXL 3.0 的增量改進(jìn)。CXL 協(xié)議是系統(tǒng)中芯片、內(nèi)存和存儲(chǔ)之間的通信鏈路。

CXL 3.0 規(guī)范基于 PCIe 6.0，數(shù)據(jù)傳輸速度高達(dá)每秒 64 千兆。它比其前身 CXL 2.0 快兩倍，CXL 2.0 基于 PCIe 5.0，并且正在進(jìn)入服務(wù)器系統(tǒng)。

隨著 AI 等技術(shù)的普及，CXL 已成為芯片組的重要組成部分，機(jī)器學(xué)習(xí)應(yīng)用程序需要大量?jī)?nèi)存和帶寬，CXL 允許跨服務(wù)器池化存儲(chǔ)和內(nèi)存。

CXL 3.1 協(xié)議可以打開(kāi)更多的點(diǎn)對(duì)點(diǎn)通信，將內(nèi)存和存儲(chǔ)分解到單獨(dú)的機(jī)箱中，通過(guò)傳統(tǒng)網(wǎng)絡(luò)和互連技術(shù)進(jìn)行分解的討論已經(jīng)討論了10年，CXL 提供了提供各種計(jì)算資源所需的可擴(kuò)展性。

首先，CXL 3.1 規(guī)范提供了一個(gè)支持新型內(nèi)存的開(kāi)放標(biāo)準(zhǔn)，可以更有效地將數(shù)據(jù)重新路由到內(nèi)存和加速器。

一項(xiàng)重要的改進(jìn)是將結(jié)構(gòu)上的內(nèi)存資源匯集到一個(gè)全局地址下，該功能稱為全局集成內(nèi)存，對(duì)于在內(nèi)存和其它資源之間建立更快的連接非常重要。

加速器還將能夠直接與內(nèi)存資源通信，基于端口的路由的新功能有助于更快地訪問(wèn)內(nèi)存資源。

CXL 3.1 還提供了在受保護(hù)環(huán)境中執(zhí)行數(shù)據(jù)的指令，引入這項(xiàng)技術(shù)是為了支持機(jī)密計(jì)算，英特爾的 Sapphire Rapids 中已經(jīng)引入了 TDX 指令，AMD的芯片中引入了 SNP-SEV 功能。

新規(guī)范定義了一種安全協(xié)議，該協(xié)議可保證數(shù)據(jù)在內(nèi)存、處理器和存儲(chǔ)之間移動(dòng)時(shí)擴(kuò)展安全環(huán)境。

該協(xié)議將檢測(cè)需要對(duì)連接進(jìn)行身份驗(yàn)證以打開(kāi)硬件保險(xiǎn)庫(kù)，以訪問(wèn)代碼或信息的環(huán)境。這些信息可能位于處理器、內(nèi)存或存儲(chǔ)上。英特爾、Microsoft 和其它公司有不同類型的證明方法來(lái)驗(yàn)證在安全環(huán)境中訪問(wèn)數(shù)據(jù)的連接。

CXL的功能與特性詳解

CXL是一種用于加速CPU 和設(shè)備之間資料傳輸?shù)膮f(xié)定，主要應(yīng)用于人工智能和機(jī)器學(xué)習(xí)等領(lǐng)域，以解決在這些應(yīng)用中需要高效率的資料交互的需求。隨著PCIe協(xié)定的發(fā)展，到了5.0版本后，像需要大量IO 資料交互的人工智能應(yīng)用，開(kāi)始遇到性能瓶頸的問(wèn)題。為了突破這個(gè)瓶頸，引入了CXL協(xié)定的概念。

首先，CXL 協(xié)定解決了共享RAM的問(wèn)題，在支援PCIe 協(xié)定的設(shè)備中，每個(gè)設(shè)備都擁有自己的RAM，但這些RAM無(wú)法被CPU 統(tǒng)一編址，因此無(wú)法直接進(jìn)行調(diào)用，這導(dǎo)致了延遲的問(wèn)題；CXL協(xié)定引入了共享RAM 的概念，允許CPU 對(duì)所有設(shè)備上的RAM 進(jìn)行統(tǒng)一編址，從而實(shí)現(xiàn)了彼此之間的互相調(diào)用。

其次，CXL 協(xié)定解決了高延遲的問(wèn)題，例如：CPU 和GPU之間的資料交互，需要經(jīng)過(guò)多個(gè)節(jié)點(diǎn)，包括CPU 緩沖（Cache）、CPU RAM、PCIe 鏈路、GPU RAM和GPU Cache 等，這些節(jié)點(diǎn)和IO 頻寬限制導(dǎo)致了延遲的增加；為了降低延遲，我們希望CPU 能夠直接存取GPU 的RAM，從而避免了繁復(fù)的資料傳輸過(guò)程。CXL的功能特性中，CXL 2.0 版本引入了FLIT（可變長(zhǎng)度介面?zhèn)鬏?，F(xiàn)lexible-Length Interface Transport） based transfers 功能，使用544 位元的FLIT 模式進(jìn)行資料傳輸，這種模式可以降低資料傳輸?shù)难舆t，類似于NVMe 協(xié)定中的隊(duì)列概念。

CXL的三個(gè)子協(xié)定及其對(duì)應(yīng)的三種設(shè)備

CXL有三個(gè)子協(xié)定：CXL.io、CXL.cache、CXL.memory。

CXL.io 和CXL.cache 是CXL 協(xié)定中的兩個(gè)子協(xié)定，它們的功能和用途有所不同，主要是為了引入非對(duì)稱的概念；CXL.io 類似于PCIe 的事件（event），主要用于初始化、鏈接、設(shè)備發(fā)現(xiàn)、列舉以及寄存器(register) 的存取，從某種程度上說(shuō)，它可以看作是PCIe事件的一個(gè)變種。

CXL.cache 則是用于設(shè)備去使用主機(jī)的主要RAM，這表示設(shè)備可以直接存取主機(jī)的RAM，并且需要與CPU 的Cache 保持資料一致性；如果沒(méi)有有效的通訊和同步，可能會(huì)出現(xiàn)RAM 使用沖突或不存在的問(wèn)題。

另一方面，CXL.memory則是CPU 使用設(shè)備上的RAM；在這種情況下，CPU可以直接存取設(shè)備上的RAM，而不需要與設(shè)備的Cache 進(jìn)行交互；這是因?yàn)镃PU 的Cache 直接使用設(shè)備上的RAM，因此可以直接進(jìn)行通訊，而無(wú)需額外的同步操作。

總結(jié)來(lái)說(shuō)，CXL.io 和CXL.cache 的使用方向和目的不同，因此被拆分為兩個(gè)子協(xié)定；CXL.io 類似于PCIe 事件，用于設(shè)備和主機(jī)之間的通訊和初始化過(guò)程；而CXL.cache 則用于設(shè)備存取主機(jī)的RAM 并保持資料一致性；另一方面，CXL.memory 則是CPU 直接使用設(shè)備上的RAM，無(wú)需與設(shè)備的Cache 進(jìn)行交互，這樣的設(shè)計(jì)使得CXL 協(xié)定在不同的使用情境中更具靈活性和效能。

基于這三個(gè)子協(xié)定，衍生出三種不同的設(shè)備類型；其中，CXL.io 是所有設(shè)備都需要的協(xié)定，因?yàn)樗嗽O(shè)備的列舉過(guò)程，使其能夠被識(shí)別和通信；另外兩個(gè)協(xié)定則是進(jìn)行組合以產(chǎn)生更具特定功能的設(shè)備。

第一種設(shè)備類型是智慧網(wǎng)卡，它有Cache，但沒(méi)有獨(dú)立的RAM；相反，它直接使用CPU 的內(nèi)存，這使得在CPU 處理資料時(shí)非常迅速；由于記憶體就在設(shè)備內(nèi)部，它可以直接讀取和處理資料，這是它的優(yōu)勢(shì)。

第三種設(shè)備類型則只擁有RAM，而沒(méi)有Cache；換句話說(shuō)，它實(shí)際上是CPU 的一種無(wú)限擴(kuò)展的內(nèi)存；傳統(tǒng)CPU 主機(jī)板上的內(nèi)存插槽有限，且主機(jī)板的空間有限，即使提高單條內(nèi)存的容量也有限制。

審核編輯：黃飛