簡(jiǎn)單盤點(diǎn)一下影響PCIe鏈路性能的因素

在PCIe鏈路中，數(shù)據(jù)的傳輸性能一般不會(huì)超過鏈路的最大帶寬，通過將PCIe設(shè)備的硬件、固件優(yōu)化極致，可以使性能發(fā)揮盡可能接近鏈路極限，但即便如此，編碼層面的開銷、鏈路層和物理層開銷，以及一些參數(shù)設(shè)定，仍然會(huì)對(duì)PCIe鏈路的實(shí)際性能帶來影響。

本文將對(duì)這些影響PCIe鏈路性能的因素做一個(gè)簡(jiǎn)單盤點(diǎn)，看看它們是如何影響PCIe實(shí)際性能發(fā)揮的。

數(shù)據(jù)編碼

近年來，PCIe技術(shù)迎來了快速發(fā)展，從1.0到5.0，每一次技術(shù)迭代都帶來了數(shù)據(jù)傳輸速率的翻倍提升，為NVMe SSD等PCIe設(shè)備實(shí)現(xiàn)性能的快速增長(zhǎng)打下基礎(chǔ)。細(xì)心的朋友肯定發(fā)現(xiàn)了，PCIe從1.0的2.5GT/s一路發(fā)展到5.0的32GT/s，它們并沒有嚴(yán)格遵循等比關(guān)系，這里引出影響PCIe實(shí)際傳輸效率的第一個(gè)因素——數(shù)據(jù)編碼。 ?

在信號(hào)高速傳輸中，連續(xù)的多個(gè)0或多個(gè)1會(huì)導(dǎo)致信號(hào)失真和時(shí)鐘恢復(fù)困難等問題。為避免此現(xiàn)象發(fā)生，PCIe 1.0和2.0使用了8b/10b編碼機(jī)制，通過將8bit數(shù)據(jù)轉(zhuǎn)換為10bit數(shù)據(jù)進(jìn)行傳輸，使得信號(hào)中的0和1數(shù)量盡可能相等，并避免連續(xù)的多個(gè)0或多個(gè)1出現(xiàn)。如下圖所示，數(shù)據(jù) 000 0000經(jīng)8b/10b編碼后，輸出 100111 0100 或 011000 1011。

?

部分8b/10b Data Symbol Codes（引自PCIe 1.0 Spec） ? 8b/10b編碼極大優(yōu)化了PCIe鏈路的信號(hào)質(zhì)量，但由此也帶來了20%的編碼開銷，這也是PCIe 1.0、PCIe 2.0的數(shù)據(jù)傳輸速率明為2.5GT/s、5GT/s，實(shí)為2GT/s、4GT/s的原因。

? PCIe 3.0、PCIe 4.0和PCIe 5.0使用更加先進(jìn)的128b/130b編碼以及新的擾碼方式，以達(dá)到直流均衡的效果。同時(shí)，由于有效數(shù)據(jù)載荷占到數(shù)據(jù)流的98.5%，可以在大幅提高數(shù)據(jù)傳輸速率的同時(shí)，使得數(shù)據(jù)編碼/擾碼帶來的損耗可以忽略不計(jì)；PCIe 6.0則改用PAM4調(diào)制，在不改變時(shí)鐘頻率的前提下實(shí)現(xiàn)傳輸帶寬翻倍（即1次信號(hào)可以表述2bit數(shù)據(jù)），同時(shí)1b/1b的編碼方式對(duì)傳輸效率無影響。 ?



不同PCIe速率對(duì)應(yīng)的數(shù)據(jù)編碼與數(shù)據(jù)傳輸速率（引自PCIe 6.0 Spec） ? ?

鏈路層和物理層

在PCIe鏈路中，Host與PCIe設(shè)備（如NVMe SSD）之間的數(shù)據(jù)交換以TLP（Transaction Layer Packet）數(shù)據(jù)包的形式，由發(fā)送端事務(wù)層到接收端事務(wù)層進(jìn)行傳輸。TLP由Header、Payload、ECRC組成，其中，Header為必需項(xiàng)，包含了該TLP的起始標(biāo)識(shí)符、事務(wù)類型、請(qǐng)求方ID、需要發(fā)送的目標(biāo)地址等重要信息，大小為12或16字節(jié)；Payload為可選項(xiàng)，是TLP中承載的有效數(shù)據(jù)，最大4096字節(jié)，如果該TLP并不需要傳輸數(shù)據(jù)，則Payload為0；ECRC也是可選項(xiàng)，大小為4字節(jié)，是對(duì)Header、Payload的校驗(yàn)，防止TLP本身出錯(cuò)。

?

TLP數(shù)據(jù)包構(gòu)成 ? TLP在發(fā)送過程中，會(huì)經(jīng)過“加頭加尾”的過程——數(shù)據(jù)鏈路層添加Sequence Number與LCRC信息，防止數(shù)據(jù)丟包并避免鏈路層的錯(cuò)誤產(chǎn)生；隨后經(jīng)過物理層，會(huì)添加開始與結(jié)束信息（結(jié)束信息自PCIe 3.0開始不再適用）。TLP在接收過程中，則會(huì)經(jīng)過“掐頭去尾”的過程——依照物理層、數(shù)據(jù)鏈路層、事務(wù)層的順序，對(duì)TLP層層剝繭，識(shí)別和校驗(yàn)。毫無疑問，Header、ECRC、Sequence、LCRC、開始信息都會(huì)占用額外的數(shù)據(jù)帶寬。

MPS

?Payload是TLP中承載的最終有效用戶數(shù)據(jù)，最大長(zhǎng)度4096字節(jié)。MPS（Maximum Payload Size）是對(duì)PCIe鏈路中最大Payload字節(jié)數(shù)的設(shè)定，根據(jù)PCIe Spec規(guī)定，分為128B、256B、512B、1024B、2048B、4096B六種，MPS越大，TLP中可以承載的有效數(shù)據(jù)占比就越高。 ?

但是，MPS并非越大越好。較大的MPS會(huì)導(dǎo)致每個(gè)數(shù)據(jù)包的大小增加，進(jìn)而增加傳輸負(fù)載，使得延遲增加，錯(cuò)誤率上升，甚至降低系統(tǒng)性能。常見MPS一般集中在128B、256B、512B三種。在PCIe鏈路初始化過程中，會(huì)根據(jù)RC、PCIe Switch、Endpoint的MPS支持情況，按照木桶效應(yīng)將MPS設(shè)定為相同的值。以下圖為例，Endpoint 3支持的MPS為128 Bytes，則該P(yáng)CIe鏈路只能以最高128 Bytes MPS運(yùn)行。 ?

?

PCIe鏈路MPS設(shè)定示意（引自Xilinx） ?

MRRS

在PCIe鏈路中，為平衡帶寬分配，防止某個(gè)讀請(qǐng)求過大導(dǎo)致獨(dú)占PCIe帶寬，PCIe Spec還規(guī)定了名為MRRS（Maximum Read Request Size）的最大讀請(qǐng)求設(shè)定，并同樣分為128B、256B、512B、1024B、2048B、4096B六種。讀請(qǐng)求并不包含Payload。在Endpoint向Host請(qǐng)求較多數(shù)據(jù)時(shí)（如，將大量數(shù)據(jù)寫入NVMe SSD），過低的MRRS設(shè)定會(huì)導(dǎo)致讀TLP過多，并帶來大量的ACK/NAK DLLP額外開銷。 ?

MPS、MRRS都是影響PCIe傳輸效率的重要參數(shù)，但二者并沒有絕對(duì)相關(guān)性。通常，MRRS會(huì)等于或大于MPS，以帶來更高的效率。如，MPS設(shè)定為128B，MRRS設(shè)定為512B，當(dāng)發(fā)起512B數(shù)據(jù)讀請(qǐng)求時(shí)，數(shù)據(jù)將分為4個(gè)TLP被傳輸。 ?

以上是影響PCIe鏈路傳輸效率的幾個(gè)重要因素，它們客觀存在且不可避免。作為技術(shù)實(shí)力領(lǐng)先的NVMe SSD產(chǎn)品和解決方案供應(yīng)商，我們要做的，是不管產(chǎn)品處在何種PCIe接口速率下，亦或何種不同的硬件搭配、參數(shù)設(shè)置，都盡可能發(fā)揮出產(chǎn)品應(yīng)有的性能，為企業(yè)業(yè)務(wù)的穩(wěn)定開展帶來支撐。? ?




審核編輯：劉清