英特爾數(shù)據(jù)存儲如何操作和實現(xiàn)

“話說天下大勢，分久必合，合久必分。周末七國分爭，并入于秦。及秦滅之后，楚、漢分爭，又并入于漢。漢朝自高祖斬白蛇而起義，一統(tǒng)天下，后來光武中興，傳至獻帝，遂分為三國?！边@是 “分久必合，合久必分”典故的出處。

天下大勢如此， 數(shù)據(jù)信息產(chǎn)業(yè)的發(fā)展也概莫能外。但是大家也有一個疑問：現(xiàn)在的技術發(fā)展是三足鼎立呢？還是分久必合的趨勢？

在2022中國數(shù)據(jù)與存儲峰會上，來自英特爾的三位技術專家英特爾數(shù)據(jù)中心事業(yè)部 云解決方案架構師高偉、英特爾中國政企事務部及全球OEM解決方案經(jīng)理吳國安、英特爾網(wǎng)絡與邊緣計算事業(yè)部云計算軟件開發(fā)工程師裴迪分別從CSAL/WSR、持久內(nèi)存存儲和IPU SPDK存儲卸載加速/優(yōu)化的角度對數(shù)據(jù)存儲的問題給出了解讀。這些技術各有特色，依托各自強大的優(yōu)勢鼎立支持英特爾的技術發(fā)展。 同時他們也具備一個共性，就是要解決爆炸式數(shù)據(jù)增長所帶來的數(shù)據(jù)處理方面的問題。如Cloud Storage Accelerate Layer——CSAL（此前叫WSR），是利用QLC和傲騰構建云存儲方面的價值，在提高性能和SLA的同時，提高存儲密度，降低數(shù)據(jù)處理合存儲的成本；傲騰持久內(nèi)存存儲模式優(yōu)化，主要解決外部數(shù)據(jù)存儲IO性能瓶頸的問題；相比，SPDK結合英特爾IPU對存儲相關協(xié)議進行卸載和優(yōu)化，則是充分利用IPU等異構計算來解決高性能和擴展性的問題。 讓我們一起深入了解，這些技術是如何操作和實現(xiàn)的。

CSAL（WSR）助力阿里云打造更具競爭優(yōu)勢的云存儲

隨著CPU性能的不斷提升，以及PCIe 4.0時代的來臨，原本基于磁盤的存儲方案越發(fā)捉襟見肘。磁盤存儲容量有所提升，但單位容量的性能卻不斷降低，從而使得SLA下降。 以阿里云的一個實踐案例來看，阿里云旗下大數(shù)據(jù)計算密集型實例規(guī)格族D2C采用的是磁盤的配置，在采用了CSAL和QLC加傲騰的技術組合后，阿里云推出了新的D3C實例。 新的D3C實例不僅存儲性能和SLA有所提升，而且，整體密度增加3倍，RACK級別實現(xiàn)了3倍節(jié)省，減少了機架的空間占用，令阿里云受益良多。

D3C實例需要使用最新的QLC存儲介質，但是QLC在耐久性上和寫性能方面有許多問題，特別是在處理小IO的時候，其性能并沒有比磁盤高多少，甚至在小數(shù)據(jù)塊的順序寫場景中，其性能還不如磁盤。 在分享中高偉詳細分析了造成此現(xiàn)象的原因：簡單用QLC閃存盤替換磁盤的做法是行不通的。

阿里云旗下有I系列和D系列兩類提供EBS本地存儲的ECS實例，I系列強調(diào)低延遲和高性能，主要用于數(shù)據(jù)庫場景，D系列強調(diào)低成本和大容量，主要用于大數(shù)據(jù)分析場景，新推出的D3C實例在性能上有大幅提升。 在構建實例的過程中，為了解決QLC在耐久性和性能方面的問題，英特爾和合作伙伴在過去一年里開展了一個叫CSAL的項目，而CSAL的作用主要有四個方面： 1，可根據(jù)用戶工作負載需求自由調(diào)整的NAND存儲性能和容量； 2，使用性能和耐久性都很高的傲騰來彌補QLC性能和耐久性不足的問題； 3，提供英特爾至強原生的高性能存儲； 4，多租戶下有更穩(wěn)定的QoS表現(xiàn)，機架級別實現(xiàn)了三倍節(jié)??；

新的D3C實例采用了新一代的代號為Ice Lake的英特爾至強可擴展處理器，搭配CSAL技術和傲騰加QLC的技術組合，在計算和存儲性能方面都有了大幅提升。 與此前的D2C相比，原來一臺服務器只能提供一個大規(guī)格的虛擬機，而現(xiàn)在，一臺服務器可以提供兩個大規(guī)格的虛擬機。 并且，從TPCx-HS和TPC-DS兩個跑分測試數(shù)據(jù)來看，新的D3C的性能表現(xiàn)都比原來的D2C有所提升。

此外，高偉還介紹了CSAL架構方面的更多細節(jié)，以及CSAL在新一代ZNS閃存盤上的一些性能數(shù)據(jù)，如何未來發(fā)揮更多作用。 英特爾傲騰持久內(nèi)存存儲模式的優(yōu)化，值得期待 英特爾傲騰技術的研發(fā)始于2012年，2019年英特爾傲騰持久內(nèi)存100系列與第二代英特爾至強可擴展處理器共同發(fā)布，隨后，隨著第三代英特爾至強可擴展處理器的發(fā)布，又發(fā)布了第二代的英特爾傲騰持久內(nèi)存200系列，而第三代英特爾傲騰持久內(nèi)存也將在明年年初與第四代英特爾至強可擴展處理器一道發(fā)布。

從英特爾技術專家吳國安的介紹中了解到，第三代英特爾傲騰持久內(nèi)存的性能相比于200系列還會有大幅地提升。令人遺憾的是，由于一些原因，英特爾不再開發(fā)第四代傲騰持久內(nèi)存產(chǎn)品，但后續(xù)將依靠至強平臺支持的CXL協(xié)議來擴展內(nèi)存的容量及帶寬。

吳國安分享的重點是持久內(nèi)存SNIA編程模型的優(yōu)化問題，如圖可見，編程模式分兩種，一種是右側的內(nèi)存編程模式，另一種是左側是存儲編程模式，左側是此次關注的重點。 與內(nèi)存編程模式不同，存儲編程模式不需要修改代碼，并且，可以像操作普通磁盤和固態(tài)盤那樣把傲騰當做塊設備來使用，之所以能做到這點，很重要一方面就是因為有一個叫BTT的核心算法。BTT核心算法可以將字節(jié)訪問的持久內(nèi)存設備，映射成為Block原子性的塊設備，從而將持久內(nèi)存設備視為是快速且低延時的SSD。也因此，它具有了和SSD一樣的編程模型，這意味著它可以利用現(xiàn)有的SSD的生態(tài)，使用傳統(tǒng)的讀寫接口，在所有現(xiàn)有的文件系統(tǒng)下正常工作。 在這種模式之下，傲騰持久內(nèi)存可以像普通SSD一樣，作為緩存來加速存儲性能。 最近，Linux內(nèi)核方面有兩個優(yōu)化，這兩個優(yōu)化可以大大提升這種模式下的性能表現(xiàn)。分享中詳細介紹了持久內(nèi)存存儲編程核心算法-BTT的更多細節(jié)，介紹了兩種優(yōu)化存儲模式的方法，一種是算法優(yōu)化，將BTT算法在持久內(nèi)存中的16字節(jié)的bflog操作邏輯變?yōu)閮?nèi)存中的操作，減少寫操作的開銷。

另一種是動態(tài)控制deepflush，利用英特爾平臺的ADR功能而無需使用deepflush指令從而獲得非常好的性能提升。

最后，讓我們再看持久內(nèi)存存儲編程模式可能的發(fā)展方向。新一代的英特爾至強可擴展處理器將內(nèi)置DSA的加速器，它可以卸載CPU的數(shù)據(jù)搬遷工作，從而節(jié)省CPU的資源，又比如CXL技術將來可以和持久內(nèi)存存一起來獲得更優(yōu)的存儲性能。 詳細的技術細節(jié)也可以參考：持久內(nèi)存BTT實現(xiàn)及優(yōu)化（一）及持久內(nèi)存BTT實現(xiàn)及優(yōu)化（二）。

相關的代碼可以參考：[PATCH] BTT: Use dram freelist and remove bflog to otpimize perf以及[PATCH] ACPI/NFIT: Add no_deepflush param to dynamic control flush operation。　 SPDK在英特爾IPU的存儲卸載中有重要作用 SPDK提供了一系列的工具和類庫來創(chuàng)建高性能、可擴展的、用戶態(tài)的存儲應用，能用于構建超高性能的存儲應用。 去年，英特爾正式發(fā)布了兩款IPU（Infrastructure Processing Unit），一個叫Big Spring Canyon(BSC)，另一個叫Mount Evans，兩款IPU都能對存儲進行卸載，并利用SPDK來提高性能。

英特爾技術專家裴迪介紹了IPU推出的背景和IPU的諸多價值。IPU不僅可以減少CPU資源的浪費，讓CPU得到更充分利用，還能提升性能和降低延遲，此外，通過軟硬件的結合，從而為云基礎設施帶來更高的靈活性。

Big Spring Canyon(BSC)是由英特爾至強D系列處理器和FPGA智能網(wǎng)卡來構建的，其優(yōu)勢在于可以利用英特爾至強強大的軟件生態(tài)，性能強大，功能強大，還可以應對未來新的需求和定制化的需求。 Big Spring Canyon(BSC)卡的使用場景可以分為虛擬化模式和裸金屬模式兩種，裴迪結合兩種典型的使用場景在技術層面上做了一些具體的介紹。 裴迪介紹了SPDK軟件結合Big Spring Canyon(BSC)來支持存儲卸載和彈性塊設備的技術細節(jié)，讓我們看到了SPDK軟件在Big Spring Canyon(BSC)卡的存儲卸載方面有重要作用，之所以使用SPDK來完成存儲卸載工作，是因為SPDK具有強大的優(yōu)勢： 一方面，因為SPDK是一個用戶態(tài)的軟件，使用了Polling mode避免了內(nèi)核態(tài)IO處理頻繁上下文切換帶來的性能開銷，SPDK的數(shù)據(jù)面零拷貝和無鎖的特性也極大提高了性能。另一方面，SPDK目前已經(jīng)比較成熟，支持多種遠端存儲。

Mount Evans是一款基于ASIC芯片和ARM CPU打造的IPU，提供2 x 100G的網(wǎng)絡能力，它是由英特爾和谷歌合作開發(fā)設計的。 Mount Evans繼承了以往多款基于FPGA的智能網(wǎng)卡和IPU的開發(fā)經(jīng)驗，可應對各種真實的工作負載。它不僅擁有強大的性能，而且，在安全性和隔離性上面也具有更高水平的實現(xiàn)，從設計之初就將安全性和隔離性視為重中之重。 Mount Evans在硬件層面有許多技術創(chuàng)新，比如，它具有業(yè)內(nèi)一流的可編程的包處理引擎，它擁有從英特爾傲騰拓展而來的NVME存儲接口，它支持下一代可靠傳輸技術，它還帶有先進的解壓縮加速器。 在軟件生態(tài)方面，Mount Evans經(jīng)由軟件開發(fā)人員、硬件開發(fā)人員和加速器開發(fā)人員共同設計開發(fā)，有更好的軟硬協(xié)同。它支持Barefoot P4 Studio，可以為開發(fā)者提供更好的可編程性。另外，卡上運行的Linux操作系統(tǒng)能夠充分利用DPDK、SPDK以及IPDK等軟件生態(tài)。 在Mount Evans的CPU上也運行著SPDK存儲服務，可以提供存儲卸載和加速，SPDK在不同形態(tài)的IPU產(chǎn)品上都可以快速的匹配對應的硬件，同時提供高性能、高可擴展性，可對接到不同的存儲服務中，為IPU加速產(chǎn)品化提供存儲生態(tài)上的支持。

裴迪介紹了Mount Evans用SPDK卸載存儲的技術細節(jié)和一些典型的使用場景，在技術實現(xiàn)上，重點提到了一個叫vDPA的技術，vDPA技術增加了更多硬件實現(xiàn)的功能，從而帶來性能加速效果。 同時在IPU結合SPDK的使用場景中，也有涉及到最近比較熱門的FaaS (Function as a Service)云原生相關的支持。 ?

編輯：黃飛

?