AMD的新服務(wù)器體系結(jié)構(gòu)和設(shè)計(jì)

本文研究AMD推出的服務(wù)器系統(tǒng)芯片 (SoC): AMD Epyc。許多客戶會(huì)購買雙插槽 (2S) 服務(wù)器，因?yàn)榭梢垣@得比英特爾單插槽 (1S) 服務(wù)器體系結(jié)構(gòu)更多的可用 i/o 或內(nèi)存容量。AMD Epyc 的1S 處理器和 i/o 資源有可能取代2S 服務(wù)器設(shè)計(jì)的許多工作負(fù)載。

圖 1: AMD Epyc SoC-插座 (左), 底部視圖 (右)

資料來源: TIRIAS 研究和 AMD

歷史

多處理器服務(wù)器已經(jīng)存在數(shù)十年了。在二十世紀(jì)八十年代, 它們是由每個(gè)處理器 (CPU) 的許多主板構(gòu)建的, 之后是許多 "單板計(jì)算機(jī)"。單片微處理器使服務(wù)器設(shè)計(jì)人員能夠?qū)讉€(gè)處理器插座放到一個(gè)主板上。這些 多插座主板被標(biāo)記為 "n 處理器" (nP), 其中 "n" 是主板上的處理器數(shù), 如1P、2P、4P 等。

今天, 一個(gè)服務(wù)器插座可以承載許多硬件線程。多插槽主板現(xiàn)在被標(biāo)記為 "n 插座" (nS), 因此1S 服務(wù)器有一個(gè)包含多個(gè)處理器內(nèi)核的處理器插座等。

圖 2: 一個(gè)AMD Epyc SoC是2008年時(shí)四插槽系統(tǒng)的兩倍線程

資料來源: TIRIAS 研究

在十年前AMD 推出AMD Opteron雙核處理器時(shí), 多核處理器進(jìn)入主流服務(wù)器市場。多線程處理器內(nèi)核在每個(gè)內(nèi)核中都有額外的 CPU 資源, 可以一次運(yùn)行多個(gè)軟件執(zhí)行線程, 在過去十年中也變得很流行。多線程、多核處理器引起從主板計(jì)數(shù)處理器到計(jì)數(shù)Socket的行業(yè)轉(zhuǎn)變。計(jì)數(shù)Socket消除了處理器芯片可以處理的硬件線程數(shù)和主板上插槽中的物理芯片數(shù)量之間的混淆。

同期, 基于服務(wù)器的并行編程實(shí)踐已停滯不前，大多數(shù)應(yīng)用程序有8個(gè)以下的軟件執(zhí)行線程，很少有超過16個(gè)線程的。對于大多數(shù)主流商業(yè)應(yīng)用來說都是如此。虛擬化的興起是由于硬件性能的飛速發(fā)展, 而不是單個(gè)軟件應(yīng)用程序能夠吸收硬件性能的增加。在 21世紀(jì), 多核處理器的泛濫使得4S 系統(tǒng)能夠取代更昂貴的8插槽 (8S) 市場, 因?yàn)?S 系統(tǒng)變得更強(qiáng)勁。然后, 在過去的十年中, 2S 系統(tǒng)從更昂貴的4S 系統(tǒng)中接管了許多工作負(fù)載。2S 系統(tǒng)現(xiàn)在被定義為企業(yè)級服務(wù)器的主流。

繼續(xù)向每個(gè)服務(wù)器處理器中注入更多內(nèi)核和線程的副產(chǎn)品是, 一個(gè) AMD Epyc SoC CPU現(xiàn)在包含大約2008年時(shí)的雙線程、四核、4S 服務(wù)器的線程執(zhí)行資源的兩倍 (見圖 2)。這就引出了一個(gè)問題: 為什么2S 系統(tǒng)仍然是主流的服務(wù)器主板外形？是否有可能將主流服務(wù)器工作負(fù)載移動(dòng)到1S 基礎(chǔ)架構(gòu)？1S 服務(wù)器可以是 "企業(yè)級" 嗎？

2S還是1S？這就是問題所在

每個(gè)可調(diào)度任務(wù)或進(jìn)程生成超過16個(gè)并發(fā)線程的工作負(fù)載很少，大多數(shù)情況下每個(gè)實(shí)例生成的線程不超過8個(gè)。在每個(gè)進(jìn)程中生成超過16個(gè)線程的大多數(shù)工作負(fù)載都是 "令人尷尬的并行" 高性能計(jì)算 (HPC) 工作負(fù)載, 每個(gè)實(shí)例生成數(shù)量級更多的線程，它們更適合GPU或其他卸載加速，而不是擴(kuò)展到更多的CPU。

大多數(shù)工作負(fù)載（例如在虛擬機(jī)中運(yùn)行的業(yè)務(wù)邏輯和運(yùn)行在容器中的云微服務(wù)）可以在1S服務(wù)器上以2S服務(wù)器上的速度和價(jià)格運(yùn)行，如果現(xiàn)有的1S系統(tǒng)可用于2S服務(wù)器就只插一個(gè)插槽。

英特爾的服務(wù)器CPU功能和定價(jià)細(xì)分策略似乎旨在保持其可觀的2S容量和利潤率。由于核心數(shù)量的增加以及底層核心和緩存體系結(jié)構(gòu)的改進(jìn), 2014年底英特爾至強(qiáng)“Haswell”的推出增加了只用一個(gè)插槽的2S服務(wù)器的數(shù)量。

圖3顯示, 在 Haswell CPU銷量快速增長期間, 僅有一個(gè)插座填充的 3000美元以下 2S 服務(wù)器的數(shù)量增加了約 20% (從25% 到30% )。此外, 只有一個(gè)插座的3000美元 至6000美元 2S 服務(wù)器的出貨量也躍升約 25%, (從27% 到35%)。

圖 3: 僅裝入一個(gè)套接字的2S 服務(wù)器共享

AMD的 Epyc 體系結(jié)構(gòu)具有相同的核心數(shù)量和結(jié)構(gòu)提升, 因此在市場上有機(jī)會(huì)產(chǎn)生同樣的效果, 但值得注意的是AMD也有興趣推廣1S 市場。

今天, 超過1/3 的2S 功能機(jī)架優(yōu)化服務(wù)器只配備了一個(gè)處理器。有關(guān)兩個(gè)最暢銷2S 服務(wù)器價(jià)格區(qū)間的只配一個(gè)CPU的市場份額, 請參閱表1。

表 1: 2019年Q3：2S 機(jī)架優(yōu)化服務(wù)器在Q1期間只配備了一個(gè)處理器

Source: IDC, 2016

特點(diǎn)

今天購買許多2S 服務(wù)器只是為了比英特爾1S服務(wù)器架構(gòu)上更多可用的和不同的I / O容量或內(nèi)存。要增加大量內(nèi)存和 PCIe 通道, 需要添加第二個(gè)處理器。這些設(shè)計(jì)將2S 芯片組用于提供更多或不同的 I/O (主要是 PCIe、NVMe 和SATA), 而不是用于第二套插座的計(jì)算資源。

大多數(shù)企業(yè)和大規(guī)模服務(wù)器購買者不會(huì)為了省錢，從英特爾的帶有緩存RDIMM等企業(yè)級功能的至強(qiáng) E5 CPU換到只有無緩沖DIMM（UDIMM）等消費(fèi)級PC功能的1U服務(wù)器中使用的Xeon E3 CPU?？紤]到以后要升級到兩個(gè)E5，所以購買至強(qiáng) E3 與至強(qiáng) E5 的價(jià)格差異, 讓人覺得可以接受，可是實(shí)際上，財(cái)務(wù)成本實(shí)際上非常高, 因?yàn)閹缀鯖]有人購買一個(gè)只有一個(gè)至強(qiáng) E5 的2S 服務(wù)器之后安裝第二個(gè)處理器。

表2: Epyc 的競爭優(yōu)勢

Source: TIRIAS Research

表2顯示了 AMD Epyc 和競爭性英特爾至強(qiáng)產(chǎn)品的比較。表3中的所有信息都適用于1S 配置, 盡管 Epyc 和至強(qiáng) E5 都支持雙插槽。該表清楚地表明，AMD Epyc不僅超越了Xeon E3的限制，而且還超越了至強(qiáng)E5 v4的集成和功能。

對于兩個(gè)處理器插座都主要用于增加內(nèi)存容量和PCIe通道的情況, 這不僅增加了主板面積、機(jī)箱體積和第二個(gè)處理器的額外支出, 而且還由于第二個(gè)處理器的額外功耗, 持續(xù)運(yùn)營成本增加。

表3顯示，英特爾定價(jià)Xeon D 1S SoC的價(jià)格是可比Xeon E3處理器的兩倍，但Xeon E3需要額外的南橋芯片，網(wǎng)絡(luò)和I / O支持。相比之下，英特爾正在為Xeon E5處理器定價(jià)，這也需要額外的南橋芯片，網(wǎng)絡(luò)和I / O支持，價(jià)格是同類E3 SKU的六倍 - 對于只有一個(gè)插座的2S板，E5是可升級性所需（如上所述，很少發(fā)生，但仍在購買決策中考慮）。隨著2S板的兩個(gè)插座的填充，英特爾雙E5處理器的定價(jià)是單個(gè)E3處理器價(jià)格的12倍。

表 3: 英特爾至系列價(jià)格比較

Source: TIRIAS Research and https://ark.intel.com/

提升

有兩種方法可以查看升級:

升級兩個(gè)插槽中的處理器以提高速度和其他體系結(jié)構(gòu)改進(jìn)。當(dāng)每新一代處理器通過時(shí)鐘速率提高和體系結(jié)構(gòu)改進(jìn)提高了性能時(shí), 這種技術(shù)就能良好運(yùn)行。不幸的是, 英特爾目前的 x86 處理器核心體系結(jié)構(gòu)正在成熟, 而且由于流程縮短，摩爾定律不再自動(dòng)生成更快的時(shí)鐘速度。因此, 一代又一代的性能改進(jìn)通常在一位數(shù)內(nèi)。今天的服務(wù)器通常是在它們發(fā)生故障之前保持服務(wù)狀態(tài), 直到它們不受支持, 或者直到它們無法運(yùn)行特定的工作負(fù)載。

首先使用一個(gè)處理器, 然后添加一個(gè)處理器以添加更多功能。有趣的是, 從與 許多云和企業(yè) IT 商店交談, 大多數(shù)服務(wù)器不會(huì)打開其機(jī)箱蓋以升級服務(wù)器的任何部分。對于僅用一個(gè)處理器的2S 服務(wù)器也是如此。雖然從應(yīng)用軟件的角度來看，二十年前添加第二個(gè)處理器是一個(gè)合理的選擇，但現(xiàn)代應(yīng)用程序傾向于通過添加更便宜的服務(wù)器來很好地?cái)U(kuò)展，而不是購買昂貴的擴(kuò)展服務(wù)器，這些服務(wù)器是虛擬化的許多應(yīng)用程序的過度構(gòu)建 機(jī)器托管部署。 如今，橫向擴(kuò)展以增加容量要容易得多。 如果運(yùn)營商打算投入人力來打開服務(wù)器機(jī)架并拔出機(jī)箱 - 他們也可以更換整個(gè)機(jī)箱，而不是試圖安裝額外的CPU，散熱器和更多內(nèi)存。

AMD 的新服務(wù)器體系結(jié)構(gòu)和設(shè)計(jì)

AMD 的 Epyc SoC 旨在解決潛在的1S 服務(wù)器需求,雖然英特爾已經(jīng)推進(jìn)到昂貴而且沒必要的2U 服務(wù)器, 以及高性能2U 服務(wù)器的需求。

Epyc SoC 可以直接連接多達(dá)32個(gè) SATA 或 NVMe 設(shè)備。在設(shè)計(jì)主板時(shí), 將 Epyc 的 PCIe Gen3 通道配置為 NVMe、SATA 或2S 插座互連。在2S 配置中, Epyc 的系統(tǒng)內(nèi)存容量加倍到 2/4TB的內(nèi)存 (RDIMM/LRDIMM), 但系統(tǒng) I/O 與1S 解決方案相同，一半的 I/O 通道用于兩個(gè) SoC 插座之間的高速鏈接。

圖 4: AMD Epyc 1S 開發(fā)板 (左) 和2S 預(yù)生產(chǎn)板 (右)

Source: TIRIAS Research

經(jīng)濟(jì)

服務(wù)器成本有兩個(gè)經(jīng)濟(jì)組成部分: 資本支出CAPEX和 OPEX。資本支出是一個(gè)完整服務(wù)器的買方價(jià)格, 而 OPEX 主要是服務(wù)器的功耗和管理開銷成本。

在1S 和2S 的經(jīng)濟(jì)學(xué)之間推廣比較是有點(diǎn)模糊的。表4列出了主要比較的特征。

表 4: 資本和 OPEX 對1S 和2S 服務(wù)器成本差異的貢獻(xiàn)

Source: TIRIAS Research

還有一個(gè)OPEX軟件許可組件，但是很難在各種應(yīng)用程序中進(jìn)行概括。

我們估計(jì)典型的1S和2S主板之間的定價(jià)增加了200到300美元（由于額外的元件，增加的電路板成本等） - 接近Xeon E3和Xeon E5之間單處理器價(jià)格的差異。對于更大和更復(fù)雜的電路板設(shè)計(jì)，以及第二個(gè)處理器或SoC插座所需的支持組件（電源調(diào)節(jié)器，插座等），這種價(jià)格差異是正常的。

此外, 即使從不填充第二處理器插座，也會(huì)用容量更高、價(jià)格更貴的電源, 在2S設(shè)計(jì)中用于為附加處理器和支持組件供電。

雖然額外的2S主板組件導(dǎo)致功耗增加，但同樣，處理器功耗相比其他主板組件相形見絀。英特爾的1S Xeon E3系列功耗規(guī)格范圍為25W至80W，Xeon D功耗規(guī)格范圍為45W至60W。英特爾的2S Xeon E5系列功耗范圍從50W到145W。相比之下，DIMM插槽的功耗為7.5W，因此四個(gè)DIMM可能消耗高達(dá)30W的功率，而八個(gè)DIMM可能消耗高達(dá)60W的功率。

然而, 主板的價(jià)格差異約為600美元, 從英特爾1S 至強(qiáng) E3 系列處理器移動(dòng)到2S 至強(qiáng) E5 系列處理器的價(jià)格相差甚遠(yuǎn)。適合2S 系統(tǒng)的 Epyc SoCs 也將適合1S 系統(tǒng),不會(huì)降低每個(gè)插座的功能 (見表 2)。

內(nèi)存和I/O

無論是1S 還是2S 設(shè)計(jì), 每個(gè) Epyc SoC 都具有相同的內(nèi)存帶寬和容量。這將極大地影響系統(tǒng)設(shè)計(jì)者創(chuàng)建高性能1S 系統(tǒng)的能力, 因?yàn)橛⑻貭柾ㄟ^限制1S 內(nèi)存帶寬和容量來細(xì)分其1S 和2S 產(chǎn)品線, 這將使 "向上銷售" 客戶對2S 設(shè)計(jì)產(chǎn)生影響。

將 Epyc 從1S 擴(kuò)展到2S 會(huì)消耗一些 I/O 通道。Epyc 2S 設(shè)計(jì)使用每個(gè) soc 的高速 i/o 通道中的一端連接到另一個(gè) soc 插座。但1S 和 2S Epyc 主板支持相同數(shù)量的 PCIe 車道。

從表2可以看出，至強(qiáng) D 和至強(qiáng) E3 的內(nèi)存容量有限, 并且至強(qiáng) E3 不支持服務(wù)器標(biāo)準(zhǔn) RDIMM。

結(jié)論

AMD 的 Epyc 架構(gòu)將支持功能強(qiáng)大的1S 服務(wù)器解決方案。TIRIAS 的研究認(rèn)為, 性價(jià)比高, 加上內(nèi)存和 i/o擴(kuò)展, 足以證明 數(shù)據(jù)中心的客戶可以批量采用1S 設(shè)計(jì), 因?yàn)?AMD 的 Epyc SoC 可靠地解決了大多數(shù)1S 的架構(gòu)和價(jià)格的問題。

換句話說，一旦Epyc 1S服務(wù)器普遍可用，我們認(rèn)為購買過度配置的2S服務(wù)器將會(huì)浪費(fèi)資金。這是服務(wù)器市場在AMD推出雙核AMD Opteron和英特爾以實(shí)物方式響應(yīng)后所經(jīng)歷的轉(zhuǎn)變，導(dǎo)致8S和更高的系統(tǒng)銷售陷入4S細(xì)分市場。從那時(shí)起，公共云提供商幾乎完全忽略了4S服務(wù)器，支持其元服務(wù)（MaaS），基礎(chǔ)架構(gòu)即服務(wù)（IaaS）和平臺(tái)即服務(wù)（PaaS）中的2S配置。

從軟件開發(fā)的角度來看, 開發(fā) Epyc 1S 解決方案與開發(fā)其他服務(wù)器處理器沒有什么不同。此外, 客戶還可以設(shè)計(jì)性能最佳的的Epyc 2S 解決方案，他們可以使用完全相同的 Epyc sku 實(shí)現(xiàn)這一目標(biāo)。

從客戶的角度來看, 每個(gè)服務(wù)器都應(yīng)該支持給定應(yīng)用程序 (用戶數(shù)、事務(wù)數(shù)、吞吐量等) 的基準(zhǔn)性能。無論服務(wù)器是1S 還是 2S, 只要它滿足或優(yōu)于企業(yè)的基準(zhǔn)性能水平即可。目前的挑戰(zhàn)是, 在 Epyc 之前, 供應(yīng)鏈中所有模塊都不同。Epyc 的高核心計(jì)數(shù)和強(qiáng)達(dá)的功能應(yīng)使 AMD 能夠?qū)H有一個(gè)處理器的2S 服務(wù)器的簡單增長轉(zhuǎn)化為專用1S 服務(wù)器設(shè)計(jì)的擴(kuò)展市場。

AMD 設(shè)計(jì)了 Epyc 來解決企業(yè)級服務(wù)器部署問題。我們期待 Epyc 性能指標(biāo)和 TCO 分析作為其推出日期方法, 以進(jìn)一步量化其1S 優(yōu)于英特爾至強(qiáng)處理器的優(yōu)勢。