以太網(wǎng)存儲網(wǎng)絡的擁塞管理連載方案（一）

本章重點介紹不使用TCP 而使用無損以太網(wǎng)網(wǎng)絡的存儲協(xié)議，如FCoE、RoCE 和RoCEv2。第8 章"TCP 存儲網(wǎng)絡中的擁塞管理"主要介紹在有損以太網(wǎng)網(wǎng)絡中使用TCP 傳輸?shù)拇鎯f(xié)議，如iSCSI 和NVMe/TCP。

以太網(wǎng)流量控制

以太網(wǎng)流量控制有兩種類型

1. 鏈路級流量控制（LLFC）：LLFC 可在直接連接的設備之間對鏈路上的所有流量進行流量控制。LLFC 是一項IEEE 標準（IEEE 802.3x）。

2.基于優(yōu)先級的流量控制(PFC)：PFC 可在直接連接的設備之間對特定流量類別進行流量控制，而其他流量類別則在無流量控制的情況下繼續(xù)運行。PFC 也是IEEE 標準（IEEE 802.1Qbb）。

LLFC 類似于光纖通道B2B 流量控制機制，它對鏈路上的所有流量進行流量控制（第2 章"了解光纖通道Fabric 中的擁塞"，光纖通道流量控制部分）。相反，當光纖通道鏈路使用多個虛擬鏈路或電路（VL 或VC）運行時，PFC 類似于ER_RDY（或VC_RDY）流量控制機制（第6 章"在光纖通道Fabric 中防止擁塞"，了解虛擬鏈路一節(jié)）。在光纖通道Fabric 中，所有流量都需要無損行為，因此所有VL 都啟用了流量控制，而在以太網(wǎng)網(wǎng)絡中，只有部分流量類別受流量控制，其他類別的流量則不受流量控制。這有助于在同一以太網(wǎng)鏈路上實現(xiàn)有損和無損行為。

如第1 章"無損網(wǎng)絡"一節(jié)所述，以太網(wǎng)流量控制（或一般無損網(wǎng)絡）并不能保證不丟幀。當幀因比特錯誤而損壞時，以及當擁塞嚴重時幀在緩沖區(qū)中長時間滯留時，仍然會丟棄幀。這些細節(jié)將在后面的"通過丟棄幀恢復擁塞"一節(jié)中解釋。

以太網(wǎng)流量控制如何工作？

以太網(wǎng)使用一種稱為暫停幀的特殊幀進行流量控制。暫停幀的內(nèi)容、發(fā)送時間和發(fā)送頻率允許直接連接的發(fā)送方調(diào)整傳輸速率，以避免接收方緩沖區(qū)超限。這就避免了因接收方缺乏空閑緩沖區(qū)而造成的數(shù)據(jù)包丟失，從而實現(xiàn)了無損網(wǎng)絡。

暫停時間

暫停幀有一個稱為quanta的字段，用于表示必須停止幀傳輸?shù)某掷m(xù)時間（稱為暫停時間）。quanta值范圍在0 到65535 之間（16 位最大值為0xFFFF）。要計算暫停時間，可將quanta值乘以在鏈路上傳輸512 比特所需的時間。無論鏈路的運行速度如何，這一方案都有助于實現(xiàn)一致的執(zhí)行。它還能確保最大暫停時間隨著鏈路速度的增加而減少，這是適應高速鏈路上更快傳輸速率的需要。

如下式所示，要將暫停quanta轉換為秒，需要將其乘以512，再除以每秒比特的端口速度。

Pause time in seconds = (Pause quanta x 512) / Port speed in bits per second

例如，在10 GbE 鏈路上，單個暫停幀的最大暫停時間為3.355 ms（（65535 x 512）/（10 x 109））。當10 GbE 端口收到quanta值為0xFFFF 的暫停幀時，可停止傳輸3.355 毫秒。同樣，100 GbE 鏈路的最大暫停時間為0.355 ms。

數(shù)據(jù)流接收器在發(fā)送非零quanta的暫停幀后，可通過兩種方式請求數(shù)據(jù)流發(fā)送器重新開始傳輸：

1. 等待最后發(fā)送的暫停幀所代表的持續(xù)時間。例如，10 GbE 端口只需等待3.355 毫秒。

2. 發(fā)送新的零quanta暫停幀，要求數(shù)據(jù)流發(fā)送方立即恢復傳輸。因此，零quanta的暫停幀也被稱為恢復幀或解除暫停幀。

在以下兩個條件下，因收到quanta為非零的暫停幀而處于"暫停"狀態(tài)的數(shù)據(jù)流發(fā)送方將立即恢復傳輸：

1. 暫停幀中指定的持續(xù)時間結束。例如，10 GbE 端口在接收到quanta為65535 的暫停幀3.355 毫秒后。

2.它接收到quanta設為零的暫停幀。同樣，這也可以稱為"恢復"或"取消暫停"幀。

這意味著暫停幀具有雙重用途。非零quanta的暫停幀會停止或暫停流量，而零quanta的暫停幀則會啟動或恢復流量。

接下來，讓我們了解一下這些暫停幀是何時發(fā)送的。

何時發(fā)送暫停幀？

圖7-1 顯示了交換機-1 的兩個端口之間的速度不匹配情況，這兩個端口以10 GbE 連接目標-1，以1 GbE 連接主機-1。交換機-1 為無損流量分配緩沖區(qū)，并將這些緩沖區(qū)組織到入口無丟棄隊列中。為簡單起見，假設只有一種流量類別需要無損行為，則只顯示一個無丟棄隊列。

Figure 7-1Ethernet flow control with Pause Threshold and Resume Threshold

當Target-1 開始以10 Gbps 的速度傳輸無損流量時，Switch-1 只能以1 Gbps 的速度向Host-1 傳輸。流量速率的差異會導致幀過多，從而開始消耗交換機-1 上不丟幀隊列的緩沖區(qū)。當交換機-1 的緩沖區(qū)填滿超過閾值（稱為暫停閾值）時，它會向目標-1 發(fā)送一個非零quanta的暫停幀。目標-1 收到該暫停幀后，會在一個特定的時間間隔內(nèi)停止傳輸流量，該時間間隔稱為暫停時間（如上一節(jié)所述）。因此，Switch-1 的緩沖區(qū)利用率不會進一步增加，而是隨著向Host-1 的傳輸繼續(xù)進行而開始下降。

最終，當Switch-1 的緩沖區(qū)利用率低于恢復閾值時，Switch-1 會發(fā)送一個零quanta的暫停幀，這是目標-1 恢復流量傳輸?shù)?a target="_blank">信號。如果在發(fā)送第一個非零quanta的暫停幀后的暫停時間內(nèi)，Switch-1 的緩沖區(qū)利用率沒有降至恢復閾值以下，它將繼續(xù)發(fā)送更多非零quanta的暫停幀，以停止或暫停來自目標-1 的傳輸，直到Switch-1 的緩沖區(qū)利用率降至恢復閾值以下。

目標-1 最終會恢復傳輸，要么是因為最后一個非零quanta的暫停幀中指定的持續(xù)時間已過，要么是因為它收到了一個零quanta的暫停幀。但目標-1 較快的傳輸速率再次導致交換機-1 上的不丟棄隊列被填滿，并很快超過了暫停閾值。這時，交換機-1 再次向目標-1 發(fā)送非零quanta的暫停幀，同樣的事件重復發(fā)生。

最后，交換機-1 的"暫停閾值"和"恢復閾值"之間的緊密配合以及"暫停幀"（非零quanta）和"未暫停幀"（零quanta）的發(fā)送實現(xiàn)了以太網(wǎng)流量控制。

請注意以下幾點：

1. 圖7-1 中的以太網(wǎng)流量控制會導致入口端口（連接到Target-1）和出口端口（連接到Host-1）之間的速率均衡。如果在此狀態(tài)下對鏈路進行監(jiān)控，Host-1 鏈路上就不會有暫停幀流過，而許多暫停幀會從Switch-1 流向Target-1。

2. 如果不啟用圖7-1 中的流量控制，交換機-1 將丟棄目標-1 的任何多余幀。這將使其成為一個有損網(wǎng)絡。

3. 雖然quanta值的范圍在0 到65535 之間，但大多數(shù)產(chǎn)品（包括Cisco MDS 交換機、Nexus 交換機和UCS）都將其設置為最大可能值65535。將時間quanta設置為較小值將要求接收器預測準備接收更多幀的持續(xù)時間。這種預測的實現(xiàn)比較復雜。大多數(shù)產(chǎn)品將暫停時間量值設置為最大值65535，然后在準備好接收流量時發(fā)送取消暫停幀（時間量值為0），從而使實現(xiàn)簡單易行。由于這些原因，Cisco MDS 交換機、Nexus 交換機和UCS 不允許配置暫停quanta值。

4. 如果認為在發(fā)送非零quanta的暫停幀時，流量會在quanta所代表的時間內(nèi)停止，那是不正確的。通常情況下，非零quanta的暫停幀之后很快就會出現(xiàn)取消暫?；蚧謴蛶?。流量暫停的最長時間實際上就是暫停和取消暫停幀之間的時間。在10 GbE 鏈路上，這可能是0.05 微秒（接收64 字節(jié)暫停幀的時間），也可能是3.355 毫秒或介于兩者之間的任何時間。如果緩沖區(qū)利用率仍高于暫停閾值，則可在根據(jù)實施情況確定的時間（小于量子所代表的時間）后發(fā)送另一個非零quanta的暫停幀。這個暫停幀會"延長"流量暫停的時間。

5.暫停幀不會搶先傳輸已經(jīng)開始的幀。

6. 暫停閾值也稱為XOFF 閾值，恢復閾值也稱為XON 閾值。XOFF 和XON 中的X 是傳輸?shù)氖鬃帜缚s寫。由于暫停幀的流動方向與流量相反，因此XOFF 閾值與停止流量有關，而XON 閾值與重啟/恢復流量有關。一般來說，XOFF 表示"暫停流量"，XON 表示"取消暫停流量"。在排除擁塞問題時，請記住這一細節(jié)，因為XOFF 和XON 術語也可能被使用。

入口和出口隊列

Cisco Nexus 9000 交換機采用出口緩沖架構。這意味著出口端口上會保留隊列。

只有對于不丟棄類，才會為所有可以接收不丟棄類流量的入口端口預留額外的緩沖區(qū)。如圖7-1 所示，除了出口隊列外，不丟棄流量還被排入入口隊列（具有暫停閾值和恢復閾值）。

在擁塞期間，首先出口隊列會開始填滿。對于有損流量，如果這些出口隊列已滿，任何新傳入的幀都會被丟棄。

但是，對于無損流量，在不丟棄出口隊列滿之前，會對入口隊列施加內(nèi)部反向壓力（具有暫停閾值和恢復閾值）。這樣，任何新進入的流量都會占用入口隊列，而不會被丟棄。如前所述，通過發(fā)送暫停幀來控制入口隊列的利用率。

這些入口隊列有暫停閾值和恢復閾值，與出口隊列的主動隊列管理（AQM）機制（如加權隨機早期檢測（WRED））不同?？梢允褂肗X-OS 命令show queuing interface 顯示Cisco Nexus 9000 交換機端口上的入口和出口隊列。

在Cisco Nexus 交換機上，所有流量都要經(jīng)過出口隊列處理，因此，AQM 與有損和無損流量相關。第8 章"交換機緩沖區(qū)管理"一節(jié)介紹了出口隊列的處理和AQM 機制。本章主要關注入口隊列（具有暫停閾值和恢復閾值）的處理。了解兩個隊列（出口隊列和入口隊列）的處理至關重要，因為如前所述，只有在出口隊列填滿后才會使用入口隊列。因此，監(jiān)控出口隊列的使用情況也是顯示擁塞的一個關鍵指標。有關詳細信息，請參閱第8 章隊列深度監(jiān)控和微爆發(fā)檢測一節(jié)。

入口無損隊列的位置

無損以太網(wǎng)網(wǎng)絡中的所有端口都有入口無損隊列。為簡單起見，圖7-1 僅顯示了一個位置的入口無損隊列，但實際上所有端口都有入口無損隊列。

1.圖7-1 顯示了交換機-1 上用于接收目標-1 流量的入口無損隊列。利用該無損隊列可控制向目標-1 發(fā)送暫停幀。

2. 交換機-1 上也有類似的入口無損隊列，用于接收來自主機-1 的流量。利用該無損隊列可控制向Host-1 發(fā)送暫停幀。

3. 目標-1 創(chuàng)建一個或多個入口無損隊列，用于接收來自交換機-1 的流量。利用該無損隊列可控制向Switch-1 發(fā)送暫停幀。

4. 主機-1 創(chuàng)建一個或多個入口無損隊列，用于接收來自交換機-1 的流量。利用該無損隊列可控制向Switch-1 發(fā)送暫停幀。

每個端口的輸入無損隊列數(shù)

通常情況下，一個無損流量類的每個端口需要一個無損隊列。也可根據(jù)使用情況創(chuàng)建多個無損隊列，如通過同一鏈路傳輸FCoE 和RoCE 流量。多個無損隊列有各自的"暫停閾值"和"恢復閾值"。設備上無損隊列的最大數(shù)量取決于其功能。例如，Cisco Nexus 9000 交換機最多支持三個無損隊列。但根據(jù)鏈路的最大幀大小和長度，還需要考慮更多因素。這些限制之所以適用，是因為無損隊列需要預留緩沖區(qū)，而每個設備的緩沖區(qū)空間都是有限的。請參考您環(huán)境中設備的文檔，但總的來說，要了解這些限制并制定相應的計劃。

實施差異和本書的范圍

有些實現(xiàn)（盡管不太常見）會在沒有擁塞的情況下持續(xù)發(fā)送quanta為零的暫停幀。換句話說，即使緩沖區(qū)利用率低于恢復閾值，它們也會發(fā)送取消暫停幀。這樣做是不必要的，因為只需一個"取消暫停"幀就足以恢復流量，除非中間發(fā)送一個非零quanta的"暫停"幀，否則沒有必要連續(xù)發(fā)送。雖然這種實現(xiàn)方式并不違反標準，但由于無法分別報告暫停和解除暫停幀，也無法報告流量暫停的持續(xù)時間（TxWait/RxWait），因此這種不必要的操作幾乎無法進行擁塞檢測。有關這些指標的更多詳情，請參閱后面的"擁塞檢測指標"部分。此外，大量連續(xù)發(fā)送的"取消暫停"幀可能會導致明顯的鏈路利用率，因為這些幀實際占用了帶寬。這種類型的實施超出了本書的范圍。本書中講解的大多數(shù)擁塞檢測和故障排除技術都不適用于此類實施。

本書主要介紹只發(fā)送一個（或幾個）取消暫停幀（零quanta）來恢復流量，并且在緩沖區(qū)利用率低于恢復閾值時不連續(xù)發(fā)送取消暫停幀的實現(xiàn)。這是最常見的實施類型，包括Cisco MDS 交換機、Nexus 交換機和UCS。本書僅介紹這種實施方式。

以下是Cisco MDS、Nexus 和UCS 的實現(xiàn)詳情：

1. 當超過暫停閾值時，發(fā)送一個具有最大暫停quanta的暫停幀。

2. 如果緩沖區(qū)利用率高于"恢復閾值"，則在50%的最大暫停時長到期后，發(fā)送下一個具有最大暫停時長的暫停幀。

3. 如果緩沖區(qū)利用率低于恢復閾值，則發(fā)送一個零quanta的暫停幀（取消暫停）。隨后不再發(fā)送零quanta的暫停幀。如果該暫停幀損壞或丟失，流量將在前一個暫停幀所傳達的暫停時間結束后恢復。

很明顯，思科的實現(xiàn)是僅在必要時發(fā)送暫停幀。這種發(fā)送"暫停幀"的保守方法為通過計算"暫停幀"的數(shù)量來檢測擁塞奠定了基礎，如第9 章中詳細介紹的UCS 流量監(jiān)控(UTM) 應用程序所使用的方法。

暫停閾值和恢復閾值

本節(jié)將解釋暫停閾值和恢復閾值對正確的headroom和footroom緩沖區(qū)大小的重要意義。如圖7-1 所示。

緩沖區(qū)（隊列）大小取決于設備的能力。每個啟用PFC 的端口都必須預留緩沖區(qū)。因此，隊列大小是設備總緩沖空間和啟用PFC 端口數(shù)量的函數(shù)。

暫停閾值

如前所述，當流量接收器的緩沖區(qū)（隊列）利用率超過暫停閾值時，它就會發(fā)送一個非零quanta的暫停幀。

恢復閾值

如前所述，當流量接收器的緩沖區(qū)（隊列）利用率低于恢復閾值時，它就會發(fā)送一個零quanta的暫停幀（取消暫停）。

暫停閾值必須大于恢復閾值。整個緩沖區(qū)（隊列）的大小必須足夠大，以滿足暫停閾值和恢復閾值之間的足夠差值。

Headroom

緩沖區(qū)（隊列）大小與暫停閾值之間的空間稱為headroom。

暫停閾值應足夠小于最大緩沖區(qū)大小（或隊列大?。员３肿銐虻膆eadroom。headroom不足可能導致數(shù)據(jù)包丟失。暫停閾值也不能太低。如果出現(xiàn)這種情況，發(fā)送方會過早暫停，而headroom仍未使用，這可能會導致鏈路利用率低于預期。

由于流量接收器必須保持足夠的"headroom"來容納，因此它必須在暫停閾值處而不是在其緩沖區(qū)完全耗盡時（圖7-1）發(fā)送具有非零quanta的暫停幀：

發(fā)出的數(shù)據(jù)幀已經(jīng)在物理線路上

發(fā)送方已計劃發(fā)送且不能中斷的數(shù)據(jù)幀。

暫停幀從流量接收方到流量發(fā)送方的序列化和傳播所造成的延遲。

隨著距離的增加，流量接收器必須增加其headroom，因為可能會有更多的幀在傳送中，而且暫停幀到達流量發(fā)送器所需的時間也會更長。但緩沖區(qū)是有限的資源，因此無損以太網(wǎng)鏈路的最大支持距離取決于其端點的能力。當時可用空間無法容納的輸入數(shù)據(jù)包會被丟棄。這偏離了無損網(wǎng)絡的行為。充足的headroom應避免出現(xiàn)這種情況。

Footroom

低于恢復閾值的緩沖空間稱為footroom。

恢復閾值應大于零，以保持足夠的空間，從而在"解除暫停"幀到達流量發(fā)送方、設備恢復傳輸以及這些幀到達時，無損隊列中有足夠的幀。如果恢復閾值過低，在發(fā)送"解除暫停"幀和接收流量之間的一段時間內(nèi)，無損隊列將是空的。這可能會導致鏈路利用率低于預期。

配置緩沖區(qū)大小、暫停閾值和恢復閾值

在大多數(shù)實際應用中，數(shù)據(jù)中心內(nèi)短距離鏈路不需要更改緩沖區(qū)（隊列）大小、暫停閾值和恢復閾值。大多數(shù)產(chǎn)品（包括Cisco MDS 交換機、Nexus 交換機和UCS）都會根據(jù)鏈路的支持長度（如100 米）默認配置測試值。有關詳細信息，請參閱產(chǎn)品文檔。

Cisco Nexus 9000 交換機的默認緩沖區(qū)大小和閾值足以滿足100 米長電纜的需要。如果需要更改這些值，例如用于長度超過100 米的電纜，如例7-1 所示，可使用Cisco Nexus 交換機上的pause buffer-size 命令更改閾值。不同類型的設備可能會根據(jù)其緩沖區(qū)可用性和架構使用不同的值。因此，例7-1 僅用于一般理解，在未查閱產(chǎn)品文檔的情況下，請勿直接使用這些值。

Example 7-1在Cisco Nexus 9000 交換機上配置緩沖區(qū)大小、暫停閾值和恢復閾值。

policy-map type queuing INPUT_Q

class type queuing RDMA

pause buffer-size 120000 pause-threshold 46000 resume-threshold 32000

InExample 7-1:

1. 命令pause buffer-size 中的值以字節(jié)為單位。

2. 緩沖區(qū)大?。?20,000 字節(jié)）是隊列大小。暫停閾值為46,000 字節(jié)，恢復閾值為32,000 字節(jié)。

3. 緩沖區(qū)大小和暫停閾值之間的差值就是headroom（120,000 - 46,000 = 74,000 字節(jié)）。如前所述，如果headroom不足，當時無法容納的入口數(shù)據(jù)包就會被丟棄。

4. 恢復閾值是footroom（32,000 字節(jié)）。如前文所述，headroom不足可能導致鏈路利用率低于應有水平。

5. 根據(jù)最大幀大小，這些閾值的配置應至少容納最低數(shù)量的幀。默認的以太網(wǎng)有效載荷為1500 字節(jié)，因此在計算報頭后，幀大小為1522 字節(jié)。但存儲流量通常需要更大的幀大小。例如，F(xiàn)CoE 幀最多可達約2300 字節(jié)。RoCE 幀最大可達約2 KB 或4 KB。以太網(wǎng)巨型幀最大可達9216 字節(jié)。在例7-1 中，74,000 字節(jié)的凈空可容納約8 個9216 字節(jié)的全尺寸巨型幀，盡管并非所有幀的大小都相同。

如例7-2 所示，使用命令show queuing interface 驗證Cisco Nexus 9000 交換機上無損隊列的"暫停閾值"、"恢復閾值"和headroom。

Example 7-2驗證Cisco Nexus 9000 交換機上的緩沖區(qū)大小、暫停閾值和恢復閾值。

switch# show queuing interface ethernet 1/1

Ingress Queuing for Ethernet1/1

-----------------------------------------------------

QoS-Group# Pause

Buff Size Pause Th Resume Th

-----------------------------------------------------

7 - - -

6 - - -

5 - - -

4 - - -

3 120000 46000 32000

2 - - -

1 - - -

0 - - -

帶PFC 的長途鏈路

長距離無損以太網(wǎng)鏈路的使用不如短距離鏈路普遍。大多數(shù)使用短距離SFP 的數(shù)據(jù)中心內(nèi)鏈路都在幾百米以內(nèi)。支持無損以太網(wǎng)的設備應該有足夠的緩沖區(qū)來處理這些數(shù)據(jù)中心內(nèi)鏈路。但是，如果遇到啟用了PFC 的長距離以太網(wǎng)鏈路，請驗證端點的支持情況，并按照供應商的指導增加緩沖區(qū)大小、暫停閾值和恢復閾值。

如前所述，Cisco Nexus 9000 交換機的默認緩沖區(qū)大小、暫停閾值和恢復閾值足以滿足100 米電纜長度的要求。更改配置后，Cisco Nexus 93180YC-FX 通過10 千米鏈路支持FCoE。對于任何其他使用情況和更長的距離，請遵循官方文檔。

一般概念是，所有無損網(wǎng)絡都有距離限制，因為隨著距離的增加，它們需要額外的緩沖區(qū)。光纖通道和無損以太網(wǎng)都是如此。對于光纖通道，需要增加B2B 信用點的數(shù)量，這與物理緩沖區(qū)直接相關。對于以太網(wǎng)上的PFC/LLFC，在暫停閾值（headroom）以上和恢復閾值（footroom）以下必須有足夠的緩沖空間。

緩沖區(qū)不足對光纖通道和無損以太網(wǎng)的影響是不同的。在光纖通道中，B2B 緩沖區(qū)不足會導致鏈路利用率低于預期，因為流量發(fā)送方大部分時間都在等待緩沖區(qū)。在使用PFC 的無損以太網(wǎng)中，會產(chǎn)生兩種影響。首先，如果headroom不足，那么數(shù)據(jù)包可能會在無損流量類中丟棄。其次，如果footroom不足，其結果類似于光纖通道中缺乏B2B 信用額度，從而導致性能不佳，因為在有少量停頓的情況下，鏈路永遠達不到預期的流量速率。

審核編輯：劉清