應(yīng)用指南 | 使用LTSSM功能表征PCIe設(shè)備性能 (附直播回顧)

二十年前，PCI-SIG組織首次定義了PCIe標(biāo)準(zhǔn)。PCIe的引入旨在實(shí)現(xiàn)CPU與外圍組件之間的高速串行通信。自2003年以來，為適應(yīng)現(xiàn)代計(jì)算機(jī)的帶寬需求，PCIe標(biāo)準(zhǔn)幾經(jīng)迭代。PCIe最初作為一種串行接口引入，用于替代眾多主板架構(gòu)使用的并行總線，但PCIe擁有一項(xiàng)獨(dú)特特性：通道數(shù)量可從1個(gè)擴(kuò)展至32個(gè)。借助這一并行總線特性，PCIe兼容設(shè)備之間可以根據(jù)數(shù)據(jù)傳輸要求，建立寬度為1個(gè)、2個(gè)、4個(gè)、8個(gè)、16個(gè)甚至高達(dá)32個(gè)通道的鏈路。

隨著數(shù)據(jù)傳輸速率的不斷增加，物理層協(xié)議的復(fù)雜性也與日俱增，以確保在符合PCIe規(guī)范基本原則的同時(shí)（包括通道寬度靈活性和向下兼容“傳統(tǒng)”設(shè)備，即使用早期版本PCIe開發(fā)的設(shè)備），實(shí)現(xiàn)高效的數(shù)據(jù)傳輸。例如，使用PCIe Gen4 規(guī)范開發(fā)的設(shè)備必須向下兼容早期版本PCIe（如Gen1和Gen2）開發(fā)的設(shè)備。

先來回顧一下今年的泰克云上大講堂—PCIe測(cè)試面面觀

本期應(yīng)用指南則說明講述了如何使用泰克TMT4 PCIe性能綜合測(cè)試儀提供的高級(jí)鏈路訓(xùn)練狀態(tài)機(jī)（LTSSM）監(jiān)視信息。借助這一高級(jí)功能，結(jié)合硬件觸發(fā)輸入/觸發(fā)輸出功能，用戶可以根據(jù)PCIe狀態(tài)機(jī)的描述，識(shí)別物理層與數(shù)據(jù)鏈路層交互中的異常。

LTSSM監(jiān)視器可就TMT4 PCIe性能綜合測(cè)試儀在與被測(cè)設(shè)備（DUT）交互過程中實(shí)現(xiàn)的各種狀態(tài)提供相關(guān)信息（無論是作為根復(fù)合體（RC）還是端點(diǎn) （EP））。

實(shí)際調(diào)試流程可能包括以下一個(gè)或多個(gè)步驟：

■A. 檢驗(yàn)DUT能否按照PCIe規(guī)范或“允許的轉(zhuǎn)換”中的序列，在可用狀態(tài)間進(jìn)行轉(zhuǎn)換。

■B. 如果DUT沒有按照預(yù)期序列轉(zhuǎn)換狀態(tài)，確定DUT最后已知的正常運(yùn)行狀態(tài)。

■C. “可疑”狀態(tài)或轉(zhuǎn)換被隔離后，用戶可以選擇在進(jìn)入特定狀態(tài)時(shí)，通過發(fā)出硬件觸發(fā)輸出，在示波器上捕獲數(shù)據(jù)。

PCI Express架構(gòu)和鏈路訓(xùn)練的必要性

盡管PCIe為點(diǎn)對(duì)點(diǎn)協(xié)議，但數(shù)據(jù)源與目標(biāo)之間的交互有著明確的層次結(jié)構(gòu)。PCIe系統(tǒng)由大量點(diǎn)對(duì)點(diǎn)接口組成，通過一個(gè)基礎(chǔ)架構(gòu)或Fabric接口連接多個(gè)外圍設(shè)備和模塊。主CPU（或處理器子系統(tǒng)）位于頂端，通過適當(dāng)?shù)挠脩艚涌谶B接到一個(gè)RC。此RC是頂層PCIe互連組件，通常連接主內(nèi)存，CPU通過RC訪問主內(nèi)存。PCIe接口直接或通過一個(gè)交換器連接RC（圖 1）。

圖1. PCIe層次結(jié)構(gòu)

每個(gè)互連都有一個(gè)下行鏈路（來自上游組件，如 RC）和一個(gè)上行鏈路（來自下游組件，如上行鏈路（來自下游組件，如EP）。最典型的RC設(shè)備包括 PC 主板或嵌入式系統(tǒng)控制板。對(duì)于EP，顯卡或網(wǎng)絡(luò)接口卡等設(shè)備可通過交換器連接RC，這有助于擴(kuò)展規(guī)范內(nèi)的可尋址設(shè)備數(shù)量。EP設(shè)備也可直接與RC通信，如圖1所示。通常，這種通信并非100%的直接通信，而是在RC與EP設(shè)備之間插入一個(gè)信號(hào)調(diào)節(jié)設(shè)備（一個(gè)重定時(shí)器，或一個(gè)重驅(qū)動(dòng)，圖2），以確保信號(hào)質(zhì)量，補(bǔ)償高速傳輸下的信號(hào)質(zhì)量損失。

PCIe規(guī)范建立了鏈路訓(xùn)練過程，用于確定給定通道是否適用于接口支持的各種數(shù)據(jù)速度傳輸，有多少這樣的通道可用，以及物理層的各種其他因素，從而確定特定PCIe設(shè)備是否有可以配對(duì)的鏈路伙伴。

圖2. 重定時(shí)設(shè)備的PCIe物理層連接

PCIe中如何建立和監(jiān)控鏈路？

當(dāng)對(duì)所有設(shè)備（至少一個(gè)RC和一個(gè)或多個(gè)EP）供電并提供參考時(shí)鐘，PCIe設(shè)備就會(huì)開始鏈路訓(xùn)練。整個(gè)鏈路訓(xùn)練過程包括接收器檢測(cè)、輪詢、配置和恢復(fù)。這一過程中，可以通過觀察“LTSSM狀態(tài)”確定鏈路狀態(tài)。如PCIe規(guī)范所述，共有十一個(gè)頂層狀態(tài)，每個(gè)狀態(tài)進(jìn)一步細(xì)化，包含多個(gè)子狀態(tài)。

圖3. 鏈路訓(xùn)練狀態(tài)機(jī)

總結(jié)

?PCIe鏈路狀態(tài)由鏈路訓(xùn)練和狀態(tài)機(jī)（LTSSM）定義。從初始狀態(tài)開始，狀態(tài)機(jī)經(jīng)歷一系列主狀態(tài)（檢測(cè)、輪詢、配置、恢復(fù)），訓(xùn)練和配置鏈路，直到完全進(jìn)入鏈接狀態(tài)（L0）。

?其他狀態(tài)還包括電源管理狀態(tài)“Lx”，一種用于測(cè)試和調(diào)試的“回環(huán)”模式，或“熱重置”狀態(tài)，用于使鏈路返回初始狀態(tài)。禁用狀態(tài)是針對(duì)經(jīng)配置暫停通信的鏈路。

?初始狀態(tài)通常由數(shù)據(jù)鏈路層確定，但一般來說，PCIe鏈路的默認(rèn)初始狀態(tài)為“檢測(cè)”。

泰克TMT4 PCIe性能綜合測(cè)試儀用戶界面可顯示狀態(tài)機(jī)示意圖，如上圖所示，當(dāng)選擇發(fā)起LTSSM監(jiān)控測(cè)試時(shí)，可以看到它進(jìn)入各種狀態(tài)的實(shí)時(shí)進(jìn)度。

圖4. LTSSM測(cè)試配置

LTSSM監(jiān)控可以手動(dòng)發(fā)起，或在發(fā)出有效的硬件觸發(fā)輸入信號(hào)時(shí)發(fā)起。此外，當(dāng)發(fā)生與LTSSM狀態(tài)相關(guān)的選定事件時(shí)，可以生成觸發(fā)輸出信號(hào)（圖4）。測(cè)試完成后，測(cè)試結(jié)果存檔（*.zip)中將包含觀察到的 LTSSM 狀態(tài)日志。

泰克工程師小助手

掃碼添加小助手，訂閱更多相關(guān)技術(shù)內(nèi)容及下載本期直播講義！

TMT4作為鏈路伙伴

TMT4 PCIe性能綜合測(cè)試儀是一款符合PCIe規(guī)范的靈活儀器，既可作為RC設(shè)備，也可配置為支持PCIe Gen3和Gen4速度的EP設(shè)備。與DUT建立連接的關(guān)鍵在于選擇正確的適配器配置。

例如，當(dāng)擴(kuò)展卡（AIC）是DUT時(shí)，TMT4 PCIe性能綜合測(cè)試儀為RC設(shè)備（圖5）。

圖5. TMT4作為RC設(shè)備

而當(dāng)對(duì)典型的RC設(shè)備進(jìn)行評(píng)估時(shí)（如計(jì)算機(jī)主板），TMT4將作為EP設(shè)備與DUT進(jìn)行交互（圖6）。

圖6. TMT4作為EP設(shè)備

深入了解鏈路訓(xùn)練過程

當(dāng)PCIe設(shè)備開啟鏈路訓(xùn)練過程時(shí)，鏈路兩端之間會(huì)進(jìn)行雙向數(shù)據(jù)交換。隨著測(cè)試數(shù)據(jù)和模式（TS=訓(xùn)練集）從鏈接的一端發(fā)送到另一端，接收端會(huì)響應(yīng)發(fā)送端，并在從一個(gè)狀態(tài)進(jìn)入下一個(gè)狀態(tài)時(shí)切換發(fā)送和接收數(shù)據(jù)的角色（圖7）。

圖7. RC與EP之間的鏈路訓(xùn)練序列

執(zhí)行LTSSM監(jiān)控測(cè)試時(shí)，日志始終會(huì)從TMT4 PCIe性能綜合測(cè)試儀的視角記錄達(dá)成的狀態(tài)。

使用TMT4監(jiān)控鏈路訓(xùn)練狀態(tài)機(jī)

在鏈路訓(xùn)練過程中，DUT與TMT4之間的交互包括生成各種測(cè)試模式，使DUT從初始的檢測(cè)狀態(tài)，經(jīng)過輪詢和配置狀態(tài)，最終達(dá)成L0狀態(tài)，這表明RC設(shè)備與EP可以成功通信。

?對(duì)于正常/有效鏈路（如下方LTSSM測(cè)試結(jié)果中所示），TMT4是作為RC設(shè)備運(yùn)行。正常運(yùn)行條件下，鏈路訓(xùn)練過程中的DUT和鏈路伙伴都處于L0狀態(tài)，只有在鏈路配置的任何重要物理層屬性發(fā)生變更時(shí)才會(huì)轉(zhuǎn)換到其他狀態(tài)，如通道寬度，鏈路速度或通道反轉(zhuǎn)等。

當(dāng)顯示.csv格式的LTSSM日志數(shù)據(jù)文件時(shí)，用戶可依據(jù)DUT的有關(guān)信息確定LTSSM狀態(tài)的序列，判斷是否嚴(yán)重偏離預(yù)期流程。

在這個(gè)示例日志中，有三個(gè)實(shí)例的DUT達(dá)成L0狀態(tài)（如在TMT4上所見）：

?第一個(gè)，達(dá)到基本的PCIe Gen1速度和“四通道”（×4）寬度，從檢測(cè)狀態(tài)轉(zhuǎn)換為輪詢狀態(tài)，最后進(jìn)入配置狀態(tài)。

?第二個(gè)，從PCIe Gen1（2.5Gt/s）轉(zhuǎn)換為PCIe Gen3（8GT/s），首先進(jìn)入恢復(fù)狀態(tài)，然后進(jìn)行鏈路均衡。

?第三個(gè)， 從PCIe Gen3（8Gt/s） 轉(zhuǎn) 換 為PCIe Gen4（16GT/s），同樣是首先進(jìn)入恢復(fù)狀態(tài)，然后進(jìn)行鏈路均衡。

從以上三個(gè)實(shí)例來看，所有連接的PCIe設(shè)備都經(jīng)歷了初始鏈路訓(xùn)練過程，以建立基本功能（第一步），然后進(jìn)行額外的鏈路均衡，以在設(shè)備之間建立穩(wěn)定可靠的連接（第二和第三步）。當(dāng)PCIe鏈路中的所有設(shè)備都支持PCIe Gen 3或更高的數(shù)據(jù)速率時(shí)，就會(huì)進(jìn)行鏈路均衡。由于高于Gen 3的每一代PCIe連接都需要優(yōu)化（鏈接），鏈路均衡可能發(fā)生多次，從最小通道寬度（×1）開始，如果成功，逐步擴(kuò)展到最大可用通道數(shù)。

當(dāng)然，也可能有其他情況，例如觀察到一個(gè)或多個(gè)狀態(tài)轉(zhuǎn)換并不能表明DUT正常運(yùn)行。

例如，以下日志源于一塊無法達(dá)到16通道Gen4數(shù)據(jù)傳輸速率的主板DUT，因此發(fā)起了一個(gè)下行鏈路過程，最終在Gen3 (8Gt/s) 的速度下穩(wěn)定在16通道。

DMI是在已知損耗的通道上測(cè)量的，該通道代表物理通道。ISI/DMI/SJ共同用于以確定性方式設(shè)置EH和EW。

在第一個(gè)藍(lán)色箭頭處，DUT退出均衡過程，直接返回“預(yù)檢測(cè)靜默”配置（可能是受數(shù)據(jù)鏈路層指示，并非預(yù)期的PCIe行為）。

?在第二個(gè)藍(lán)色箭頭處，DUT使用正常的鏈路均衡過程，使所有16個(gè)通道都達(dá)到Gen3速度，在達(dá)成L0狀態(tài)前進(jìn)入恢復(fù)空閑狀態(tài)。

?然而，在第三個(gè)藍(lán)色箭頭處，DUT似乎無法在一個(gè)或多個(gè)通道上繼續(xù)均衡過程，并直接從恢復(fù)接收器配置跳到L0狀態(tài)，表明可能與Rx設(shè)置不匹配（并未受數(shù)據(jù)鏈路層指示返回檢測(cè)狀態(tài)）。

為了更好地理解Tx與Rx設(shè)置之間的交互，這種情況下LTSSM監(jiān)視器可以就異常行為提供可能的原因分析。其他LTSSM功能還包括使用硬件觸發(fā)信號(hào)開始和停止實(shí)時(shí)示波器的模擬數(shù)據(jù)收集。

｜結(jié)論｜

泰克TMT4 PCIe性能綜合測(cè)試儀作為穩(wěn)定可靠的鏈路伙伴，可觀察鏈路訓(xùn)練和均衡過程中的LTSSM狀態(tài)，并支持使用硬件觸發(fā)信號(hào)獲取波形，提供關(guān)于鏈路狀態(tài)的準(zhǔn)確信息，從而解決可能的鏈路不一致問題。

點(diǎn)擊閱讀原文，了解更多！

欲知更多產(chǎn)品和應(yīng)用詳情，您還可以通過如下方式聯(lián)系我們：

郵箱：china.mktg@tektronix.com

網(wǎng)址：tek.com.cn

電話：400-820-5835(周一至周五900)

將您的靈感變?yōu)楝F(xiàn)實(shí)

我們提供專業(yè)的測(cè)量洞見信息，旨在幫助您提高績(jī)效以及將各種可能性轉(zhuǎn)化為現(xiàn)實(shí)。
泰克設(shè)計(jì)和制造能夠幫助您測(cè)試和測(cè)量各種解決方案，從而突破復(fù)雜性的層層壁壘，加快您的全局創(chuàng)新步伐。我們攜手共進(jìn)，一定能夠幫助各級(jí)工程師更方便、更快速、更準(zhǔn)確地創(chuàng)造和實(shí)現(xiàn)技術(shù)進(jìn)步。

掃碼添加“泰克工程師小助手”

立享1對(duì)1專屬服務(wù)！

點(diǎn)擊“閱讀原文”了解更多！