雙端口NVMe SSD及其在企業(yè)級(jí)存儲(chǔ)系統(tǒng)中的應(yīng)用

SAS接口硬盤能成為企業(yè)級(jí)存儲(chǔ)陣列的標(biāo)配，與雙端口設(shè)計(jì)密不可分。而SATA則由于不支持端口聚合，一個(gè)端口只能對(duì)應(yīng)一個(gè)接口連接器，這就造成SATA只支持單路連接，如果鏈路出現(xiàn)故障，盤上數(shù)據(jù)自然讀不出來(lái)了。所以談到雙端口提高系統(tǒng)高可用性必須從端口開始談。

上文提到了端口（port）的概念。硬件設(shè)備一側(cè)的端口又稱接口，其電氣信號(hào)由接口規(guī)范定義，而數(shù)量則取決于控制芯片（Controller IC，也包括RoC）的設(shè)計(jì)。硬盤、HBA卡等接口在物理上就是我們所看到的引腳和插接件。當(dāng)下主流硬盤端口有SATA、SAS和U.2三種。（如下圖）

SATA、SAS與U.2三種接口

上圖展示了當(dāng)下主流的三個(gè)硬盤接口。設(shè)備接在背板上，背板通過(guò)線與HBA卡等另一端的設(shè)備相連。這個(gè)原理與插頭插入插板、耳機(jī)插入耳機(jī)接口的機(jī)理是一樣的，至于怎么連需要看具體的接口連接器規(guī)范。

這張圖則更詳細(xì)的展示了三種接口針腳規(guī)范，可以看到SAS和SFF-8639（也是當(dāng)下的U.2，下文中統(tǒng)一使用U.2）則均是雙端口設(shè)計(jì)，而且U.2還支持兼容SAS和SATA接口。談到這里，端口的基本概念和U.2的物理層面雙端口設(shè)計(jì)已經(jīng)完成介紹。

基于雙端口NVMe SSD的企業(yè)級(jí)存儲(chǔ)系統(tǒng)解決方案

雙端口使得一個(gè)盤可以連接在兩個(gè)不同的存儲(chǔ)控制器上，當(dāng)其中一個(gè)存儲(chǔ)控制器或者和盤之間的鏈路出現(xiàn)故障，另一個(gè)控制器仍能訪問(wèn)硬盤，提升系統(tǒng)高可用性，保障業(yè)務(wù)連續(xù)性。

企業(yè)級(jí)存儲(chǔ)系統(tǒng)以存儲(chǔ)陣列為代表，主流的存儲(chǔ)陣列都有兩個(gè)控制器，基于SAS的磁盤陣列中，兩個(gè)控制器會(huì)分別通過(guò)背板與雙端口SAS盤相連，可以說(shuō)硬件層面存儲(chǔ)陣列有著諸多冗余設(shè)計(jì)，以此保障系統(tǒng)高可用性。這樣的架構(gòu)設(shè)計(jì)也是存儲(chǔ)陣列與標(biāo)準(zhǔn)x86服務(wù)器的主要區(qū)別。

PCIe SSD在數(shù)據(jù)中心中的應(yīng)用已有將近10年的歷史，但是包括Memblaze在內(nèi)的PCIe SSD廠商所服務(wù)的多是技術(shù)實(shí)力較強(qiáng)的互聯(lián)網(wǎng)公司，系統(tǒng)以分布式存儲(chǔ)架構(gòu)為主，這類系統(tǒng)多采用x86服務(wù)器搭配PCIe SSD做高性能主存儲(chǔ)。

系統(tǒng)可靠性和可用性主要通過(guò)上層系統(tǒng)軟件的多副本、糾刪碼等技術(shù)實(shí)現(xiàn)。隨著U.2接口的NVMe SSD走向成熟，NVMe SSD全閃存陣列也迎來(lái)了新的機(jī)遇。下圖就展示了一個(gè)基于NVMe SSD的雙控存儲(chǔ)陣列架構(gòu)。

雙端口PBlaze5 PCIe NVMe SSD在雙控系統(tǒng)中的應(yīng)用

可以看到與傳統(tǒng)磁盤陣列類似，上圖中系統(tǒng)也具有兩個(gè)控制器，不同的是存儲(chǔ)控制器借助PCIe Switch直接與雙端口的PBlaze5相連。PBlaze5采用的U.2本質(zhì)上是PCIe3.0 x4，在雙端口模式下，每個(gè)控制器可以分得PCIe3.0 x2的帶寬。

除了存儲(chǔ)陣列的方案，服務(wù)器搭配NVMe交換背板的方案也非常常見(jiàn)，基本架構(gòu)如下：

NVMe SSD、服務(wù)器節(jié)點(diǎn)與NVMe 交換背板搭配的高可用企業(yè)存儲(chǔ)架構(gòu)

傳統(tǒng)存儲(chǔ)系統(tǒng)有類似的方案，使用SAS HBA通過(guò)SAS背板與前端硬盤相連。上圖中并沒(méi)有HBA這樣的組件，而是服務(wù)器節(jié)點(diǎn)直接連Switch，這是因?yàn)镻Blaze5 PCIe NVMe SSD帶寬已經(jīng)接近PCIe 接口帶寬理論值，如果再使用HBA勢(shì)必會(huì)拉低系統(tǒng)性能。

需要指出的是，根據(jù)各家NVMe SSD設(shè)計(jì)不同，雙端口的實(shí)現(xiàn)方式也略有不同。PBlaze5可以被服務(wù)器自動(dòng)識(shí)別，如果服務(wù)器支持雙端口U.2硬盤，那么PBlaze5就自動(dòng)適配為雙端口模式。

存儲(chǔ)峰會(huì)上PBlaze5的雙端口模式下性能演示

上圖是基于超微服務(wù)器搭配一塊PBlaze5的演示方案，PBlaze5在雙端口模式下讀帶寬達(dá)到了1.65GB/s，性能已經(jīng)接近PCIe3.0 x2的理論帶寬。打造一個(gè)高可用的企業(yè)級(jí)存儲(chǔ)系統(tǒng)，雙端口 NVMe SSD是必須的。同時(shí)，雙端口NVMe SSD需要陣列、服務(wù)器、系統(tǒng)等諸多環(huán)節(jié)上的技術(shù)協(xié)同發(fā)展才能夠成為系統(tǒng)高可用性的有力保障。