IBM 新款高能效 AI 芯片：能效比高過 NVIDIA A100

2 月 18 日?qǐng)?bào)道，本屆集成電路設(shè)計(jì)領(lǐng)域頂會(huì) “國際固態(tài)電路會(huì)議（ISSCC 2021）”正在進(jìn)行中（2021 年 2 月 13 日到 22 日）。作為已有近 70 年歷史的集成電路產(chǎn)學(xué)屆盛會(huì)，ISSCC 2021 亦被許多廠商視為發(fā)布其領(lǐng)先芯片技術(shù)的權(quán)威舞臺(tái)。

本屆會(huì)議上，IBM 發(fā)表了據(jù)稱是 “全球首款”的高能效 AI 芯片，該芯片采用 7nm 制程工藝，可達(dá)到 80% 以上的訓(xùn)練利用率和 60% 以上的推理利用率，而通常情況下，GPU 的利用率在 30% 以下。

性能參數(shù)方面，IBM 新品的運(yùn)算密度高于同樣采用 7nm 工藝的 NVIDIA A100 GPU；其在多種精度下的整數(shù)運(yùn)算性能，還優(yōu)于聯(lián)發(fā)科 7nm 專用 AI 芯片等產(chǎn)品。

據(jù) IBM 官網(wǎng)分享，其新款 7nm 高能效 AI 芯片該款芯片在多種場(chǎng)景中均有較好的應(yīng)用前景，比如，可用于混合云環(huán)境中的低能耗 AI 訓(xùn)練、或用于實(shí)現(xiàn)更接近邊緣的云端訓(xùn)練等。

一、IBM 新款高能效 AI 芯片：能效比高過 NVIDIA A100

對(duì)比結(jié)果顯示，IBM 新款 7nm 高能效 AI 芯片的性能和能效，不同程度地超越了 IBM 此前推出的 14nm 芯片、韓國科學(xué)院（KAIST）推出的 65nm 芯片、阿里巴巴旗下芯片公司平頭哥推出的 12nm 芯片含光 800、NVIDIA 推出的 7nm 芯片 A100、聯(lián)發(fā)科推出的 7nm 芯片。

IBM 新款 7nm 高能效 AI 芯片支持 fp8、fp16、fp32、int4、int2 混合精度。

在 fp32 和 fp8 精度下，IBM 新款高能效 AI 芯片的每秒浮點(diǎn)運(yùn)算次數(shù)，分別達(dá)到 16TFLOPS 和 25.6TFLOPS；運(yùn)算密度分別為 0.82TFLOPS/mm^2 和 1.31TFLOPS/mm^2；能效比分別為 3.5TFLOPS/W 和 1.9TFLOPS。

在 int2 和 int4 精度下，IBM 新款高能效 AI 芯片的運(yùn)算密度分別為 3.27TOPS/mm^2 和 5.22TOPS/mm^2；能效比分別為 16.5TOPS/W 和 8.9TOPS/W。

對(duì)比之下，IBM 此前推出的 14nm 芯片在 fp32 和 fp8 精度下的每秒浮點(diǎn)運(yùn)算次數(shù)，分別為 2TFLOPS 和 3TFLOPS；在在 fp32 精度下的能效比為 1.4TFLOPS/W。

另外，在 7nm 芯片陣營中，NVIDIA A100 GPU 在 fp16 精度下的能效比為 0.78TFLOPS/W，在 int4 精度下的能效比為 3.12TOPS/W，均低于 IBM 新款高能效 AI 芯片。

▲ IBM 新款高能效 AI 芯片與同類產(chǎn)品的性能參數(shù)對(duì)比

二、采用 IBM 自研超低精度訓(xùn)練 / 推理設(shè)計(jì)

IBM 官網(wǎng)文章寫道，其新款 AI 芯片之所以能夠兼顧能效和性能，是因?yàn)樵撔酒С殖途然旌?8 位浮點(diǎn)格式（（HFP8，hybrid FP8）。這是 IBM 于 2019 年發(fā)布的一種高度優(yōu)化設(shè)計(jì)，允許 AI 芯片在低精度下完成訓(xùn)練任務(wù)和不同 AI 模型的推理任務(wù)，同時(shí)避免任何質(zhì)量損失。

據(jù)悉，目前 IBM 將超低精度混合 8 位浮點(diǎn)格式用于訓(xùn)練、超低精度混合 4 位浮點(diǎn)格式用于推理，并開發(fā)了數(shù)據(jù)通信協(xié)議，以提升多核心 AI 芯片上不同核心間的數(shù)據(jù)交換效率。

據(jù) IBM 官網(wǎng)文章，自 2015 年起，該公司每年將芯片的功耗性能提升 2.5 倍。這背后，IBM 致力于實(shí)現(xiàn)算法、架構(gòu)、軟件堆棧等各方面的創(chuàng)新。

▲ IBM 在低精度 AI 訓(xùn)練、推理方面的研究歷程

除了采用超低精度混合 8 位浮點(diǎn)格式外，IBM 新款高能效 AI 芯片添加了電源管理功能。IBM 研究顯示，在同等功率的情況下，通過減緩計(jì)算階段的功率消耗，可以最大限度地提升芯片性能。

結(jié)語：AI 發(fā)展對(duì)芯片能耗提出更高要求

隨著智能化浪潮席卷各個(gè)領(lǐng)域，AI 模型的復(fù)雜性日趨提高。相應(yīng)地，AI 應(yīng)用的能源消耗水平亦水漲船高。這一背景下，如何最大限度提升能效，成為 AI 芯片設(shè)計(jì)玩家們面臨的重要命題。

IBM 通過采用超低精度混合 8 位浮點(diǎn)格式和內(nèi)置電源管理功能，為其新款 AI 芯片實(shí)現(xiàn)了業(yè)界領(lǐng)先的高能效。但是，這一芯片尚未實(shí)現(xiàn)規(guī)?；慨a(chǎn)，仍有待市場(chǎng)檢驗(yàn)。

責(zé)任編輯：PSY