交換機芯片背后的黑科技解密

世界上現(xiàn)有的交換機制造商可以從服務(wù)器（server racket）上學(xué)到一些東西。實際上，他們也的確這樣做。但這是因為世界上的超大規(guī)模用戶和云建設(shè)者一直在倡導(dǎo)他們分解交換機的組件，以開放交換機的架構(gòu)，并推動他們讓器件更可編程，這樣便不必像今天一樣花好幾年時間等待下一代芯片的問世。

縱觀整個產(chǎn)業(yè)的發(fā)展，在過去的三十年中，互聯(lián)網(wǎng)已經(jīng)變得非常商業(yè)化，企業(yè)網(wǎng)絡(luò)的協(xié)議和技術(shù)已經(jīng)發(fā)生了變遷。但是我們也應(yīng)該看到，雖然作為互聯(lián)網(wǎng)中堅力量的以太網(wǎng)和TCP/IP協(xié)議棧顯然是開放的，但是交換芯片和交換機制造商都對內(nèi)部的組件諱莫如深。在過去幾十年里，他們也很享受這種全盤控制給他們?nèi)怏w上、心理上、技術(shù)上和經(jīng)濟上帶來的快感。

我們發(fā)現(xiàn)這很煩人，為此我們鼓勵大數(shù)據(jù)領(lǐng)域內(nèi)的領(lǐng)先交換芯片制造商（如Broadcom，Mellanox Technologies，Barefoot、Cavium和Innovium）詳細談?wù)撍麄兊募夹g(shù)。但與我們從全球CPU制造商那里獲得的技術(shù)相比，他們公開的技術(shù)太膚淺。而且交換機的元件也沒有像我們可以從任何一臺OEM或ODM想要組裝的服務(wù)器上那樣被詳細地列出。也許有一天，交換機技術(shù)公開會成為現(xiàn)實。

最近，在數(shù)據(jù)中心交換設(shè)備巨頭思科公司舉辦的思科Live盛會期間，我們覺得特別惱火，因為我們發(fā)現(xiàn)，雖然思科實際上已經(jīng)采用了Barefoot Networks的“Tofino”可編程交換機，但他們卻不想承認這個事實，而是大談特談其未來的可編程交換機的計劃，還有希望能夠重新進入超大規(guī)模用戶數(shù)據(jù)中心領(lǐng)域等東西。但實際上除了在一些金融服務(wù)公司中有分布式欺詐檢測和風(fēng)險分析集群以外，思科在HPC中沒有其他任何業(yè)務(wù)，而前者也市值由于他們熟悉iOS或NX-OS交換機操作系統(tǒng)，所以喜歡購買思科交換機。

網(wǎng)絡(luò)管理員對思科交換機操作系統(tǒng)，以及對不同的交換機ASIC（無論是自主開發(fā)的還是從商業(yè)交換芯片供應(yīng)商那里購買的）的熟悉程度，是思科仍在數(shù)據(jù)中心交換機市場占據(jù)主導(dǎo)份額的原因。但是，這一份額已經(jīng)從互聯(lián)網(wǎng)熱潮時期的65％下降到50％左右，這是有原因的。最主要的一點是，新興的交換機制造商采用了新興的商業(yè)交換芯片，改變了市場上的競爭格局、定價和創(chuàng)新步伐。但很明顯的餓死，思科并沒有與他們對抗，而是被迫加入他們的陣型。

最近在思科Live上，我們發(fā)現(xiàn)了思科技術(shù)營銷工程師Faraz Taifeshesmatian做的一個精美演示，在上面，他詳細介紹了思科Nexus 3000系列頂級機架式交換機中使用的商業(yè)交換芯片。值得一提的還是，這系列是思科對抗白盒交換機制造商，以及以太網(wǎng)領(lǐng)域的Arista Networks、Juniper Networks、Mellanox、戴爾、惠普的武器。

在PPT中詳細描述并體現(xiàn)出我們倡導(dǎo)的那種開放。雖然我們無法參加思科Live，但這正是我們想要看的。Taifeshesmatian雖然沒有談?wù)揘exus 9000芯片，但據(jù)我們所知，該芯片擁有思科自主研發(fā)的“Alpine”和“Northstar”ASIC，并且其應(yīng)用中心基礎(chǔ)架構(gòu)（ACI）軟件定義的網(wǎng)絡(luò)擴展已經(jīng)出爐。即使他沒有詳細討論商業(yè)Nexus 9200、9300和9500交換機中使用的交換芯片。但是下面的圖表確實提到了它們：

如你所見，在過去的幾年里，思科采用了Broadcom的各種芯片——Trident、Tomahawk和Jericho系列。最近，Nexus 3400采用了Barefoot Networks的Tofino芯片。下面的圖表總結(jié)了各種Nexus 3000交換機的目標(biāo)市場和功能集：

這便是Taifeshesmatian總結(jié)的PPT的奇妙之處。它實際上提供了Broadcom和Barefoot未透露的一些芯片技術(shù)細節(jié)。（衷心感謝你。）

Let’s take them in order， starting with the Nexus 3000 family. The Nexus 3100 was based on Broadcom’s “Trident-2” ASICs， which delivered 1.28 Tb/sec of aggregate bandwidth and had a 12.2 MB buffer. With the Nexus 3100-V， Cisco moved on up to the “Trident-2+” ASIC， which boosted the buffer to 16 MB and had the same bandwidth. The Nexus 3100-Z adopted the “Trident-3” chip from Broadcom， which boosted the bandwidth by 2.5X to 3.2 Tb/sec and the buffer by 2X to 32 MB.

讓我們依次看一遍。Nexus 3100基于Broadcom的“Trident-2”ASIC，提供1.28Tb/秒的總帶寬，并擁有12.2MB緩沖區(qū)。在新的Nexus 3100-V上，思科采用了全新的“Trident-2+”ASIC，該產(chǎn)品將緩沖區(qū)提升至16MB，并具有相同的帶寬。Nexus 3100-Z則采用了Broadcom的“Trident-3”芯片，該芯片將帶寬提升2.5倍，達到3.2Tb/秒，緩沖區(qū)提升2倍，達到32MB。

下圖Trident-3芯片的框圖：

在這個1U交換機中，32個以100Gb/秒速率運行的端口都有一個“Falcon”核心，還有一個10Gb/秒的“Merlin”核心用于管理。Trident-3芯片有兩個數(shù)據(jù)包處理流水線，每個流水線都有16個Falcon核心，這些核心被分成兩組Falcon SerDes。每四分之一的SerDes都可以訪問ASIC傳輸帶寬的四分之一。

下圖是Trident-3在Nexus 3100-Z交換機中的實際應(yīng)用：

如你所見，這款交換機本身就是一臺混合服務(wù)器，在名為“Chimay”的板子上，不僅有Trident-3 ASIC，而且還有一個自帶內(nèi)存的1.8GHz Xeon處理器（我們猜測它是Intel的Xeon-D芯片）。另外，還有一顆FPGA和一系列CPLD放置在端口和FPGA之間，以加速該交換芯片外部的某些功能。觀察可知，Xeon處理器通過PCI-Express鏈路連接到交換機ASIC和FPGA。

我們繼續(xù)看Nexus 3200，產(chǎn)品最初是基于Broadcom的“Tomahawk-2”ASIC設(shè)計的，它具有3.2 Tb/秒的總切換帶寬，并且有4塊4MB的緩沖存儲器，總計16MB。 而新的Nexus 3200-E交換機雖然也是也基于Tomahawk-2系列，但是它的額定值為6.4Tb/秒，并且有4塊10.5MB的緩沖存儲器，總計42MB。

這款Nexus 3200-E增加了很多功能，基于64個Falcon內(nèi)核的64個端口以100Gb/秒的速度運行，并且一個Merlin內(nèi)核用于管理，運行速度可達100Gb/秒。這些端口都可以分成多個較慢的端口，如框圖所示。

Nexus 3200-E交換機的結(jié)構(gòu)如下：

此處有一個叫做“Tyskie”，不同的計算板，它仍然有一個帶有自己的內(nèi)存插槽的1.8 GHz Xeon CPU。初步看來，這可能是升級版的Xeon-D芯片。另外，Nexus 3200-E有48個Falcon核心，端口處理速度為100Gb/秒，16個端口有MACsec加密，用于在進出交換機時對數(shù)據(jù)進行加密。該芯片還有兩個FPGA用于函數(shù)加速。

有趣的是，思科尚未公布基于Broadcom今年1月份公布推出的“Tomahawk-3”芯片設(shè)計的交換機，但我們猜測它將在今年年底或明年初推出。

我們繼續(xù)看Nexus 3400。這是一款基于Barefoot Networks的Tofino可編程芯片的新型交換機。思科宣布在3400產(chǎn)品線上推出Tofino交換機，其中18個端口使用1.8Tb/秒的入門級Tofino ASIC，以100Gb/秒的速度運行，但他們同時展示了它采用高端的6.4Tb/秒的部分，這意味著還有一款64端口的Nexus 3000系列交換機正在研發(fā)。

下圖是對Barefoot系列的一個相當(dāng)?shù)驼{(diào)的實現(xiàn)：

這些端口可以分成36個以40 Gb/秒或50 Gb/秒運行的端口或72個以10 Gb/秒或25Gb/秒運行的端口，這對一些服務(wù)提供商、超大規(guī)模用戶和云建設(shè)者來說非常重要。當(dāng)然，在Tofino芯片上有一個100Gb/sec的管理端口，可以根據(jù)需要進行分割。該芯片分為兩塊，每塊速度900Gb/秒，帶有一個16MB的統(tǒng)一數(shù)據(jù)包緩沖區(qū)，當(dāng)然還有一個流水線，它完全可以通過Barefoot Networks創(chuàng)建并開源的P4語言進行編程。

Nexus 3400看起來很像Nexus 3100，在Nexus 3200的一些端口上添加了一些“Bear Valley”MACsec加密電路。事實上，它看起來很像是一個ASIC換了一些稍微不同的端口配置。請看：

現(xiàn)在我們看看Nexus 3500，它已經(jīng)在這個領(lǐng)域使用了6年，并且基于思科自己的“Monticello”ASIC。這款Nexus 3500專門針對高頻交易的應(yīng)用，雖然它只有10Gb/秒端口，但端口到端口跳躍的延遲低至250納秒，這比一個相對快速的以太網(wǎng)交換機通常的450納秒要低很多。

下圖是Monticello ASIC的框圖：

Monticello芯片有三塊緩沖區(qū)，提供18MB的容量，而數(shù)據(jù)包傳輸引擎可以提供480Gb/秒的聚合帶寬，每秒處理7.2億個數(shù)據(jù)包。同樣，這并不是什么大新聞，但是延遲，特別是一致的延遲才是最重要的。

下圖是Nexus 3548交換機的框圖：

這款交換機暴露了它的年齡，但它仍然可能廣泛用于金融服務(wù)行業(yè)。作為Nexus 3500唯一實例的Nexus 3548采用了英特爾的雙核“Ivy Bridge”酷睿i3-3227U處理器，該處理器的頻率可以從1.9GHz的額定速度超頻至2.5GHz。同時，該處理器擁有16 MB自帶的閃存，可以從DRAM內(nèi)存啟動。

另外，Nexus 3548機箱中有一個FPGA，可以支持48個以10Gb/秒或25Gb/秒速率運行的端口。最后一點很簡略，因為25G標(biāo)準(zhǔn)在25G以太網(wǎng)標(biāo)準(zhǔn)推出很久后才發(fā)布。很明顯，有一些軟件定義的功能與Monticello ASIC相配合。這很好。

最后是基于Broadcom“Jericho +”ASIC的Nexus 3600系列深度緩沖器（deep buffer）交換機。最初的Nexus 3600擁有一對Jericho+ASIC，可提供1.8 Tb/秒的交換帶寬，并具有8 GB（注意是GB，不是MB）的緩沖容量，而今年推出的第二代則有四個Jericho+芯片，高達3.6 Tb/秒的切換帶寬和16GB的緩沖容量。

下圖是Broadcom Jericho ASIC框圖：

每個Jericho+芯片可以達到900Gb/秒的帶寬，每秒處理835萬個數(shù)據(jù)包，并且該芯片有一對包含96個虛擬輸出隊列的數(shù)據(jù)包處理內(nèi)核。這些數(shù)據(jù)包緩沖區(qū)基于GDDR5存儲器，與顯卡中使用的一樣。

這里是最新的Nexus 3636交換機的架構(gòu)布局：

該交換機上的處理器板稱為“Redcastle”，它是基于一個8核的Broadwell Xeon-D芯片，運行頻率為2GHz。嵌入在交換機中的服務(wù)器主板具有2MB的NVRAM內(nèi)存，位于其DRAM主內(nèi)存旁邊，另外還有一個128GB閃存驅(qū)動器用于啟動NX-OS網(wǎng)絡(luò)操作系統(tǒng)。

有一個PCI-Express交換機將CPU模組連接到4個Jericho芯片上，這4個芯片有自己的交叉開關(guān)電路用于彼此連接。（實際上，這是兩層網(wǎng)絡(luò)在一個機箱里，就像一臺單獨的交換機一樣。）Nexus 3636交換機在板上有四個Bear Valley芯片，它們在機箱里的32個端口中的8個端口上提供MACsec加密。