聚焦黃氏定律：NVIDIA 首席科學(xué)家 Bill Dally 介紹推動(dòng) GPU 性能提升的關(guān)鍵因素

在近期舉行的處理器和系統(tǒng)工程師年度盛會(huì)Hot Chips上，NVIDIA 首席科學(xué)家 Bill Dally 發(fā)表了主題演講。在演講中，其描述了后摩爾定律時(shí)代計(jì)算機(jī)性能正在發(fā)生結(jié)構(gòu)性的變化。

點(diǎn)擊觀看 Bill Dally 在 Hot Chips 主題演講完整視頻

他表示，每一款新處理器都具備獨(dú)創(chuàng)性，需要經(jīng)過(guò)不懈的努力，發(fā)明并驗(yàn)證新的電子元件。這與上一代產(chǎn)品的開(kāi)發(fā)截然不同，當(dāng)時(shí)的工程師主要依賴于芯片更小、更快的物理特性。

Dally 在 NVIDIA Research 領(lǐng)導(dǎo)著一支 300 多人的團(tuán)隊(duì)，過(guò)去十年間他們將單個(gè) GPU 的 AI 推理性能提高了 1000 倍（詳見(jiàn)下圖）。

IEEE Spectrum 最先以 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛的名字將這一驚人的性能提升命名為 "黃氏定律（Huang’s Law） "，后來(lái)《華爾街日?qǐng)?bào)》的一篇專欄文章又讓該定律廣為流傳。

這樣的飆升速度是對(duì)以同樣驚人的速度崛起的大語(yǔ)言模型的回應(yīng)，該模型用于生成式 AI，并且每年都以數(shù)量級(jí)的速度增長(zhǎng)。

Dally 說(shuō)："這為硬件行業(yè)的發(fā)展設(shè)定了步調(diào)，因?yàn)槲覀儽仨殱M足這種需求。”

在演講中，Dally 詳細(xì)介紹了推動(dòng)性能提升 1000 倍的要素。

其中，提升幅度最大的一次達(dá)到了 16 倍，這源于人們找到了更簡(jiǎn)單的方法來(lái)表示計(jì)算機(jī)運(yùn)算使用的數(shù)字。

新的運(yùn)算方法

最新的 NVIDIA Hopper 架構(gòu)及其 Transformer 引擎采用 8 位和 16 位浮點(diǎn)與整數(shù)運(yùn)算的動(dòng)態(tài)組合。這種運(yùn)算方法專為滿足當(dāng)今生成式 AI 模型的需求而量身定制。Dally 詳細(xì)介紹了該運(yùn)算方法帶來(lái)的性能提升和節(jié)能效果。

Dally 領(lǐng)導(dǎo)的團(tuán)隊(duì)通過(guò)編寫高級(jí)指令，指導(dǎo) GPU 組織工作，實(shí)現(xiàn)了 12.5 倍的性能提升。這些復(fù)雜的指令有助于以更低的能耗做更多的工作。

因此，計(jì)算機(jī)就可以像“專用加速器一樣高效，同時(shí)保留 GPU 的所有可編程性”，Dally 介紹道。

此外，NVIDIA Ampere 架構(gòu)還增加了結(jié)構(gòu)化稀疏功能，這種創(chuàng)新方法可以在不影響模型精度的前提下簡(jiǎn)化了 AI 模型的權(quán)重。Dally 表示，這項(xiàng)技術(shù)將性能提高了兩倍，并且未來(lái)有望實(shí)現(xiàn)更大的性能提升。

Dally 還介紹了可實(shí)現(xiàn) GPU 之間高速互聯(lián)的 NVLink 以及用于系統(tǒng)間的 NVIDIA 網(wǎng)絡(luò)如何使單個(gè) GPU 的性能提高 1000 倍。

進(jìn)步之路不止步

Dally 指出，盡管 NVIDIA 在過(guò)去十年里將 GPU 的半導(dǎo)體節(jié)點(diǎn)從 28 納米推進(jìn)到 5 納米，但這種技術(shù)僅僅貢獻(xiàn)了性能提升總量的 2.5 倍。

與摩爾定律下的前一代計(jì)算機(jī)設(shè)計(jì)相比，這是巨大的轉(zhuǎn)變。摩爾定律認(rèn)為，隨著芯片變得越來(lái)越小、越來(lái)越快，處理器的性能每隔兩年翻一倍。

登納德縮放比例定律（Dennard scaling）在某種程度上對(duì)此進(jìn)行了描述。該定律由 IBM 科學(xué)家 Robert Denard 在 1974 年與人合著的一篇論文中提出。但遺憾的是，物理微縮遇到了自然限制，例如更小、更快的器件所能承受的熱量。

前景樂(lè)觀

Dally 表示，盡管摩爾定律提出的性能提升在放緩，但黃氏定律仍將繼續(xù)存在，他對(duì)此充滿信心。

例如，他概括介紹了未來(lái)的幾個(gè)機(jī)會(huì)，包括進(jìn)一步簡(jiǎn)化數(shù)字表示方式、在 AI 模型中創(chuàng)建更多稀疏性以及設(shè)計(jì)更優(yōu)的內(nèi)存和通信電路。

因?yàn)槊恳淮碌男酒拖到y(tǒng)都需要新的創(chuàng)新，所以這是屬于計(jì)算機(jī)工程師的美好時(shí)代，Dally 補(bǔ)充說(shuō)。

Dally 相信，計(jì)算機(jī)設(shè)計(jì)領(lǐng)域的新動(dòng)態(tài)為 NVIDIA 工程師們提供了他們最渴望的三個(gè)機(jī)會(huì)：成為致勝團(tuán)隊(duì)的一員、與聰明人共事以及從事有影響力的設(shè)計(jì)。