行業(yè)資訊 | 釋放 AI 大模型潛能，硬件算力亟待突破互連瓶頸

隨著 ChatGPT 橫空出世，預(yù)訓(xùn)練大模型對(duì)千行百業(yè)的革新與改造潛力已盡顯無遺，甚至有業(yè)界大佬將其問世譽(yù)為人工智能“iPhone 時(shí)刻”，并預(yù)言這“只是更偉大事物的開始”。

ChatGPT 為何顯得如此“與眾不同”？

借用技術(shù)接受理論（TAM）提出者哈佛大學(xué)教授 Venky Narayanamurti 的總結(jié)：有用性（usefulness）與易用性（ease of use）是一項(xiàng)新興技術(shù)擴(kuò)散的兩大基本前提。以這一標(biāo)準(zhǔn)衡量，2016 年的“AlphaGo vs 李世石”五番棋大戰(zhàn)，堪稱完成了對(duì)人工智能“有用性”的全民科普，而 ChatGPT 則標(biāo)志著 AI 技術(shù)擴(kuò)散的另一必要條件——易用性已潛移默化滲入公眾心智。

基于此，外界有理由樂觀期待，人工智能產(chǎn)業(yè)的確已站在了巨擘預(yù)卜的宏偉藍(lán)圖新起點(diǎn)上。

成于算力 困于互連？

在不少“后見之明”的解讀中，GPT 家族往往被與 2017 年谷歌推出的 Transformer 模型相聯(lián)系。

基于自注意力機(jī)制的 Transformer，及其后谷歌 BERT 對(duì)各類文本任務(wù)的“屠榜”表現(xiàn)和驚人的泛化能力，的確堪稱為 GPT 做好了前置技術(shù)與工程方法的鋪墊。站在巨人的肩膀上，GPT 開發(fā)者 OpenAI 團(tuán)隊(duì)，最終憑借更敏捷的效率和更有力的執(zhí)行，完成了最后的一躍。

進(jìn)一步深入看，Transformer 較此前 MLP\LSTM 等傳統(tǒng)深度學(xué)習(xí)模型，正是對(duì)硬件算力實(shí)現(xiàn)了更高效的運(yùn)用。

關(guān)于這一點(diǎn)，2019 年深度學(xué)習(xí)泰斗、DeepMind 首席科學(xué)家 Richard Sutton 在其《苦澀的教訓(xùn)》一文中就曾感言，從 70 年 AI 研究中可以學(xué)到的最大教訓(xùn)是，利用計(jì)算的一般方法最終是最有效的，而且有很大的優(yōu)勢(shì)，終極原因是摩爾定律，或者更確切地說，是它對(duì)每單位計(jì)算成本持續(xù)呈指數(shù)下降的概括，大多數(shù) AI 研究都是在可用算力恒定的情況下進(jìn)行的（在這種情況下，利用人類經(jīng)驗(yàn)將是提高性能的唯一方法），但是，在比典型研究項(xiàng)目稍長的時(shí)間里，算力會(huì)大大增加，從長遠(yuǎn)來看，唯一重要的是利用計(jì)算。

正如 Sutton 所預(yù)見的，近年來，AI 硬件算力取得了突飛猛進(jìn)的發(fā)展。除了為人所熟知的 GPU 之外，谷歌 TPU（GPT 系列早期通過 TPUv2 進(jìn)行訓(xùn)練）、微軟 Catapult 等 AI 加速芯片往往省去了傳統(tǒng)通用 CPU 微架構(gòu)中亂序、預(yù)取等高級(jí)控制措施，能夠?qū)崿F(xiàn)卷積神經(jīng)網(wǎng)絡(luò)最核心的乘加運(yùn)算單元設(shè)計(jì)最優(yōu)化，充分挖掘 SIMD 架構(gòu)并行計(jì)算能力。

算法、算力及其相結(jié)合的工程方法進(jìn)步，最終為 OpenAI“大力出奇跡”奠定了基礎(chǔ)。

完全可以預(yù)期，在 OpenAI 明星效應(yīng)下，全球科技巨頭未來一兩年必將推出一系列類 GPT 預(yù)訓(xùn)練大模型，也有望帶動(dòng)對(duì)數(shù)據(jù)中心 AI 算力集群的投資進(jìn)一步加速。

不過值得注意的是，盡管各大芯片廠商爭(zhēng)相推出 AI 加速芯片，算力參數(shù)不斷刷新記錄，但預(yù)訓(xùn)練大模型參數(shù)量動(dòng)輒上百億、千億乃至萬億，其訓(xùn)練仍遠(yuǎn)遠(yuǎn)超出一兩張 GPU 等 AI 加速卡所能駕馭的范圍，往往必須通過網(wǎng)絡(luò)將多處理器互連、乃至進(jìn)一步組成 HPC 算力集群，實(shí)現(xiàn)算力資源的池化調(diào)度，如此方能滿足 AI 大模型的分布式、并行化訓(xùn)練。而在評(píng)估訓(xùn)練效率時(shí)，單批數(shù)據(jù)（batch）的總訓(xùn)練用時(shí)也往往受通信時(shí)長的顯著影響。

正因如此，隨著 AI 大模型揭示的全新想象空間出現(xiàn)，算力集群這一基礎(chǔ)設(shè)施也將迎來投資熱潮，而在其面臨的配電、散熱、通信等一系列工程挑戰(zhàn)中，算力節(jié)點(diǎn)間的數(shù)據(jù)傳輸尤其堪稱制約硬件算力充分釋放的關(guān)鍵“瓶頸”。

破解互連瓶頸的“關(guān)鍵支點(diǎn)”

AI 訓(xùn)練、推理所面對(duì)的數(shù)據(jù)量指數(shù)增長，使得無論單服務(wù)器中多 GPU、CPU 間 C2C 通信，還是在多服務(wù)器間組網(wǎng)，數(shù)據(jù)傳輸總體都呈現(xiàn)出高帶寬、低延遲的技術(shù)需求。

在算力集群通信網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)趨同的背景下，交換機(jī)接口日益成為打通“瓶頸”的重要突破口，并衍生出提升網(wǎng)卡速率、增加網(wǎng)卡數(shù)量、乃至應(yīng)用 RDMA 網(wǎng)絡(luò)直連等多種工程思路。

而在底層接口技術(shù)領(lǐng)域，與傳統(tǒng)并行接口相比，SerDes 串行接口由于其顯著的成本優(yōu)勢(shì)，已然成為應(yīng)用主流，在 PCIe 6.0 等新標(biāo)準(zhǔn)中，更是在物理層進(jìn)一步引入對(duì) PAM4（四階脈沖振幅調(diào)變）編碼的支持，以進(jìn)一步提高 SerDes 數(shù)據(jù)傳輸速率。

不過 SerDes 的應(yīng)用，也自然存在不少技術(shù)挑戰(zhàn)，其中最嚴(yán)峻的，無疑首推信號(hào)完整性（SI）問題。

例如在通過背板、連接器、PCB 板的中距離、長距離互連場(chǎng)景中，SerDes 高速鏈路 TX、RX 端往往間隔著管腳、PCB 過孔、信號(hào)線乃至連接器、線纜等環(huán)節(jié)，存在材料、工藝、布局等復(fù)雜原因引入的噪聲、串?dāng)_和信號(hào)衰減，以至于最終抵達(dá)接收器的電氣信號(hào)可能嚴(yán)重失真，很難恢復(fù)所傳輸信息的時(shí)鐘和數(shù)據(jù)位，也局限了速率、距離上的設(shè)計(jì)空間。

新一代 56G、112G SerDes 應(yīng)用 PAM4 編碼，在提供更大網(wǎng)絡(luò)吞吐量的同時(shí)，也因引入更多電平水平，帶來了信噪比損失、誤碼率（BER）惡化、前向糾錯(cuò)（FEC）延遲增加等問題，需要進(jìn)行精細(xì)的權(quán)衡取舍。

從上面的分析不難看出，想要充分發(fā)揮 AI 硬件算力效能，接口技術(shù)是破解互連瓶頸的關(guān)鍵支點(diǎn)，具有極大的杠桿效應(yīng)，而其應(yīng)用則必須解決圍繞信號(hào)完整性的諸多挑戰(zhàn)。

目前，盡管大量硬件廠商聘請(qǐng)了專職 SI 工程師負(fù)責(zé)調(diào)試，不過其效果取決于千差萬別的個(gè)人“手藝”，由于在芯片與系統(tǒng)設(shè)計(jì)各層面均需保證信號(hào)完整性，驗(yàn)證過程也往往曠日持久，只有技能十分熟練且模電領(lǐng)域經(jīng)驗(yàn)極其豐富的設(shè)計(jì)團(tuán)隊(duì)才能嘗試此類設(shè)計(jì)，且測(cè)試驗(yàn)證周期漫長。

正因如此，在芯片設(shè)計(jì)中，外購高速接口 IP 幾乎成為行業(yè)“必選項(xiàng)”，也帶動(dòng)接口 IP 成為近年來增速最快的 IP 細(xì)分市場(chǎng)，根據(jù)專業(yè)機(jī)構(gòu)預(yù)測(cè)，接口 IP 甚至有望在 2025 年前后超越 CPU IP，成為第一大半導(dǎo)體 IP 品類。

授人以魚，更要授人以漁

接口 IP 市場(chǎng)機(jī)遇，也使之成為各大 IP HOUSE 競(jìng)爭(zhēng)熱點(diǎn)。Cadence 同樣推出了112G SerDes IP 設(shè)計(jì)，面向高性能計(jì)算（HPC）數(shù)據(jù)中心 SOC 需求，適用于長距離和中距離傳輸，已經(jīng)經(jīng)過 7nm 制程硅驗(yàn)證，擁有上佳的 PPA 表現(xiàn)，插入損耗 >35dB。

值得一提的是，外購接口 IP 只是從芯片到系統(tǒng)開發(fā)及信號(hào)完整性測(cè)試的起點(diǎn)，與工作流配套的工具是否完備、可及，也是影響開發(fā)周期的重要因素，可以說接口 IP 供應(yīng)商既要授人以魚，更要授人以漁。

作為 EDA\IP 領(lǐng)域巨頭，Cadence 在這方面的實(shí)踐尤其具有代表性。在 SerDes 等成熟接口 IP 之外，該公司還提供了有機(jī)融合的完善設(shè)計(jì)工具和技術(shù)，幫助芯片與系統(tǒng)設(shè)計(jì)人員應(yīng)對(duì)貫穿各層面的信號(hào)完整性挑戰(zhàn)。

例如在不同芯片間互連設(shè)計(jì)與仿真中，建模是必不可少的手段。目前，IBIS 和 AMI 是對(duì) SerDes 信道進(jìn)行建模的首選方式，IBIS-AMI 的出現(xiàn)，使利用仿真模型快速且精確地模擬大量比特流成為了可能。Cadence 基于Sigrity Advanced IBIS 建模工具，用戶可自動(dòng)創(chuàng)建模型，借助向?qū)С绦蛏蓪?shí)用算法模型。

在基于 PCB 板/背板/連接器的中長距離互連場(chǎng)景中，SerDes 高速接口開發(fā)人員為了精準(zhǔn)可靠地分析信號(hào)，還需要為總體設(shè)計(jì)進(jìn)行信號(hào)完整性（SI）、電源完整性（PI）以及電磁兼容性（EMC）協(xié)同仿真，開發(fā)者往往需要透徹了解數(shù)據(jù)采集分析理論、精準(zhǔn)建立模擬器件特性模型。

針對(duì)這一痛點(diǎn)，Cadence 的Clarity 3D Solver為 PCB、IC 封裝和 SoIC 關(guān)鍵互連設(shè)計(jì)提供了更好的工具選擇，基于其創(chuàng)建的高精度 S-參數(shù)模型，即使在 112G 數(shù)據(jù)傳輸速度下，也能實(shí)現(xiàn)與實(shí)驗(yàn)室測(cè)量相匹配的仿真結(jié)果。其有限元分析（FEM）過程實(shí)現(xiàn)了高度并行化，可極大縮短求解耗時(shí)，并支持近乎線性的硬件算力可擴(kuò)展性。

此外，在分析鏈路信號(hào)完整性時(shí)，通常隱含假設(shè)是電路板和連接器功能良好，但在極高頻率下，單獨(dú)分析連接器和電路板、然后再將它們“連接"在一起的假設(shè)不再適用。電路板和連接器之間交互過多，同樣需要 Clarity Solver 等全面的 3D 分析工具實(shí)現(xiàn)高質(zhì)量設(shè)計(jì)，同時(shí)準(zhǔn)確預(yù)測(cè)成品性能。

結(jié)

語

在黃仁勛喊出人工智能“iPhone 時(shí)刻”后，短短幾十天以來，預(yù)訓(xùn)練大模型及其下游應(yīng)用，已經(jīng)呈現(xiàn)出令人目不暇給的爆發(fā)態(tài)勢(shì)。可以想見，在各大云計(jì)算巨頭的 AI 大模型“軍備競(jìng)賽”中，算力集群也將迎來一輪新的投資熱潮，通信網(wǎng)絡(luò)與接口技術(shù)，也有望進(jìn)入發(fā)展加速期。此外，特斯拉 Dojo、Cerebras WSE-2 等走“超級(jí)單芯片”路線的廠商，也可能引領(lǐng)一條大模型訓(xùn)練的新路。

不過無論何種路徑，對(duì)接口 IP 的“剛需”都清晰可見，在這一熱點(diǎn)、難點(diǎn)領(lǐng)域，Cadence 將帶來更多完整的解決方案，推動(dòng)互連瓶頸的緩解與松動(dòng)，有力釋放預(yù)訓(xùn)練大模型無限可能，造福千行百業(yè)。