干貨：PCIE6.0技術(shù)剖析

首當(dāng)其沖的是，從5.0到6.0的數(shù)據(jù)速率翻倍遞增，6.0支持64GT/s，16路雙向傳輸帶寬可達(dá) 256GB/s；對于數(shù)據(jù)速率翻倍的PCIe 6.0，如何保證系統(tǒng)性能變得尤為重要！PCIe的系統(tǒng)性能取決于RTT(Round-TripTime)及有效負(fù)載大小，簡單來說就是工程師們需要確定系統(tǒng)所需的未處理、未發(fā)布請求的數(shù)量，從而來保證數(shù)據(jù)流的暢通。該數(shù)量轉(zhuǎn)換為可用標(biāo)簽的數(shù)量，并且是必須根據(jù)系統(tǒng)需求正確設(shè)置的控制器屬性。相較于PCIe 5.0的768標(biāo)簽數(shù)量，PCIe6.0對其的要求則變成了基于14位的15,360個(gè)標(biāo)簽數(shù)量，這樣就滿足了在RTT較長的情況下也能使系統(tǒng)整體保證高性能的工作狀態(tài)。

PCIe 5.0采用的32G NRZ編碼已經(jīng)使得Gen5的頻率相關(guān)損耗比之前任意一代的頻率損耗都要嚴(yán)重，假設(shè)PCIe 6.0 保留NRZ編碼格式，那么它的通道損耗將達(dá)到60dB，這顯然是不行的。所以新發(fā)布的PCIe 6.0采用高階調(diào)制格式PAM4，這樣的做法會(huì)使得在信號幅度相同的情況下信噪比天然會(huì)下降約9.5dB。但是這樣的做法會(huì)使得系統(tǒng)對噪聲更加敏感（比如電源噪聲、串?dāng)_、反射等），為降低該影響，新版規(guī)范在綜合考量了FBER、FIT、FLIT Retry 概率、帶寬效率、Latency 及 FLIT 的 FEC 能力后，采用了輕量級FEC配合使用循環(huán)冗余碼(CRC)，那么這種做法就可以在降低噪聲敏感性的基礎(chǔ)上將FEC帶給系統(tǒng)延遲控制在2ns之內(nèi)。

PCIe 6.0引入了FLIT模式（流量控制單元），也是PCIe 6.0標(biāo)準(zhǔn)最大的變化之一，與物理層的PAM4不同，F(xiàn)LIT編碼用于邏輯層，將數(shù)據(jù)分解為固定大小的數(shù)據(jù)包。PCIe 6.0以FLIT為單位進(jìn)行事務(wù)傳輸，每個(gè)FLIT有256 B數(shù)據(jù)（1 FLIT=236B TLP+6B DLP+8B CRC+6B FEC=256B），每B數(shù)據(jù)占用4 UI。以x8為例，一次FLIT傳輸?shù)母袷饺缦聢D所示。

最初引入FLIT模式的原因是糾錯(cuò)需要從而使用固定大小的數(shù)據(jù)包；然而，F(xiàn)LIT模式也簡化了控制器級別的數(shù)據(jù)管理，隨之而來的是更高的帶寬效率、更低的延遲和更小的控制器占用空間。帶寬效率：對于固定大小的包，不再需要物理層的包幀，這為每個(gè)包節(jié)省了4字節(jié)。FLIT編碼還消除了以前PCIe規(guī)范的128B/130B編碼和DLLP(數(shù)據(jù)鏈路層數(shù)據(jù)包)開銷，從而顯著提高了TLP(事務(wù)層數(shù)據(jù)包)效率。

PCIE6.0規(guī)范定義了FBER是1E-6，那么為什么是1E-6呢？能否放寬至1E-4，滿足PCIe 5.0通常的傳輸距離或IL目標(biāo)呢？答案是否定的。參考以太網(wǎng)標(biāo)準(zhǔn)放寬至1E-4，需要使用復(fù)雜RS-FEC糾錯(cuò)，延時(shí)將增加到約100ns量級，這對負(fù)載和存儲(chǔ)等對時(shí)延敏感的應(yīng)用是一個(gè)很大的挑戰(zhàn)。

為滿足FBER=1E-6目標(biāo)，PCIe 6.0引入輕量級FEC和魯棒性強(qiáng)的CRC算法實(shí)現(xiàn)修正和錯(cuò)誤檢測。相比100G/400G以太網(wǎng)標(biāo)準(zhǔn)中經(jīng)常用到的RS（544,514），該FEC實(shí)現(xiàn)相對簡單，在固定包長度Flit模式下，6字節(jié)的FEC“保護(hù)”242字節(jié)Payload和8字節(jié)CRC，2字節(jié)1組實(shí)現(xiàn)FEC Group通過交織方式抵抗突發(fā)錯(cuò)誤。如果FEC解碼完成，但CRC仍檢測到錯(cuò)誤，那么接收側(cè)會(huì)發(fā)送NAK啟動(dòng)重傳，為提高效率，該模式下不會(huì)重傳NOP-only TLP包。通過上述FEC、CRC適配FBER=1E-6要求，同時(shí)保證出錯(cuò)情況下重傳概率在5E-6、帶寬額外消耗約0.05%、FIT接近0。

PCIe 5.0~6.0相比PCIe 1.0~4.0速率高，SI、PI要求也有提高。電源方面，插卡最大功耗可提升至600W，將在6.0 CEM中更新；信號方面為保證信號完整性要求使用表貼連接器；互連通道方面，與PCIe 5.0類似，要求主板支持約12 inch，插卡支持約3-4 inch，可以想象下，如果PCIe 6.0仍舊采用NRZ調(diào)制格式，64GT/s速率奈奎斯特頻點(diǎn)在32GHz，那么通道IL將小于-60dB（參考下圖通道仿真結(jié)果），很難通過現(xiàn)有技術(shù)實(shí)現(xiàn)該信號的高頻補(bǔ)償，考慮實(shí)現(xiàn)成本和技術(shù)復(fù)雜度，采用高階調(diào)制PAM4是種不錯(cuò)選擇，相比PCIe 5.0奈奎斯特頻率不變，當(dāng)前可用板材下可傳輸相似距離。

我們先來講一講物理層測試，PCIe6.0采用PAM4的調(diào)制方式，與前一代采用NRZ的PCIe 5.0相比，規(guī)范對發(fā)射端測試增加了全新的測試方法和參數(shù)要求，包括SNDR(信噪失真比)，R_LM-TX（發(fā)射端電平等級失配率）和基于PAM4的非相關(guān)總抖動(dòng)、確定性抖動(dòng)；為此，PCIe 6.0 Base spec v1.0定義了新的64GT/s的一致性測試碼型和抖動(dòng)一致性測試碼型，有幾個(gè)要點(diǎn)需要注意：

Keysight已經(jīng)發(fā)布基于UXR示波器PCIe 6.0 Tx一致性測試軟件SW00PCIE或包含協(xié)議解碼功能的SW02PCIE，軟件內(nèi)已集成上述PCIe 6.0規(guī)范要求的測試參數(shù)和算法。下圖為PCIe 6.0 Tx一致性測試軟件SW00PCIE所覆蓋的測試內(nèi)容、功能和軟件界面。

PCIe 6.0接收端一致性測試要求在如下圖的組網(wǎng)環(huán)境下進(jìn)行校準(zhǔn)，TP3到TP2P鏈路損耗調(diào)整范圍從30dB到33dB，從最大loss開始校準(zhǔn)，Sj調(diào)整范圍1到3ps，DMI調(diào)整范圍5mv~25mV，目標(biāo)Top Eye眼圖眼高和眼寬(1e-6)分別為6 mV +/- 0.5 mV, 3.125 ps +/- 0.3 ps.

PCIe 6.0 Rx測試使用M8040A誤碼儀，它支持NRZ和PAM4信號產(chǎn)生和信號分析，可以向下兼容PCIe 1.1/2.0，對目前5.0 Rx測試的客戶有很好的擴(kuò)展性，可以通過軟件許可的方式從NRZ升級PAM4選件支持PCIe 6.0，目前M8040A 分析儀模塊也支持PCIe 6.0 LTSSM選件M8046-0N1，可與PCIe 6.0被測件實(shí)現(xiàn)鏈路協(xié)商，完成Rx/Tx LEQ測試，另外M8040A也支持PAM3信號生成，可實(shí)現(xiàn)對USB4 v.2的支持，除了硬件之外，也有包括豐富的軟件方案支持對802.3CK、802.3BS以及CEI5.0/4.0的測試。N5991PB6A自動(dòng)化軟件可以實(shí)現(xiàn)PCIe 6.0自動(dòng)校準(zhǔn)和接收一致性測試。

再來講講協(xié)議層的測試，芯片回片完成bring up，除基礎(chǔ)規(guī)范和物理電氣子層測試外，還需驗(yàn)證邏輯子層LTSSM鏈路狀態(tài)機(jī)以及數(shù)據(jù)鏈路層、事務(wù)層等業(yè)務(wù)，這里需要使用協(xié)議分析儀或訓(xùn)練器。當(dāng)前已經(jīng)發(fā)布了支持PCIe 5.0的P5551A和P5552A的訓(xùn)練器和分析儀產(chǎn)品，由于PCIe 5.0和后續(xù)的6.0對于分析儀本身的信號完整性挑戰(zhàn)非常高，P5552A協(xié)議分析儀創(chuàng)新性地將PCIe 5.0采集與處理硬件和Interposer設(shè)計(jì)為一體，無需一堆外部長線纜將信號傳給主機(jī)處理，減少協(xié)議分析儀的欠補(bǔ)償或過補(bǔ)償問題。分析儀注重協(xié)議解析、鏈路監(jiān)控及數(shù)據(jù)過濾等，訓(xùn)練器重點(diǎn)在于模擬對端EP或RC完成數(shù)據(jù)通信、支持注錯(cuò)和重播等，以及系統(tǒng)的RAS測試。未來也有計(jì)劃通過升級支持PCIe 6.0、CXL、NVMe等協(xié)議。