0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

AI計(jì)算需求激增,英偉達(dá)H100功耗成挑戰(zhàn)

微云疏影 ? 來源:綜合整理 ? 作者:綜合整理 ? 2023-12-28 09:29 ? 次閱讀

伴隨著人工智能技術(shù)飛躍式的進(jìn)步,對(duì)于計(jì)算機(jī)運(yùn)算能力的需求同樣大幅提升。目前,英偉達(dá)公司的H100芯片銷售火爆。值得關(guān)注的是,單片H100芯片的峰值功率高達(dá)700瓦。隨著此類芯片的廣泛使用,預(yù)計(jì)到2024年末,其總體功耗將相當(dāng)于甚至超越某些歐洲小型國(guó)家。

根據(jù)預(yù)測(cè),若H100的年利用率保持在61%,那么單臺(tái)設(shè)備每年將耗電3740千瓦小時(shí)左右。如果英偉達(dá)在2023年售出150萬塊H100,2024年再增加至200萬塊,那么到2024年底,將有350萬塊H100芯片投入使用,其總年用電量將高達(dá)130.91億千瓦小時(shí)(13091.82GWh)。相對(duì)而言,一些國(guó)家的年平均發(fā)電水平,如格魯吉亞、立陶宛和危地馬拉,也是這個(gè)數(shù)量級(jí)。

盡管H100的電力消耗數(shù)字讓人瞠目結(jié)舌,但我們可以看到,AI以及高性能計(jì)算GPU的能效正逐步改善。英偉達(dá)下一代Blackwell架構(gòu)的B100芯片不僅可能擁有超過H100的功耗,而且還能實(shí)現(xiàn)更高的性能表現(xiàn),從而在相同能耗下完成更多任務(wù)。

很明顯,隨著AI技術(shù)的持續(xù)發(fā)展,如何妥善處理算力與能耗之間的矛盾,成為了未來亟待解決的重大問題。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 芯片
    +關(guān)注

    關(guān)注

    452

    文章

    49938

    瀏覽量

    419595
  • 人工智能
    +關(guān)注

    關(guān)注

    1789

    文章

    46316

    瀏覽量

    236469
  • 英偉達(dá)
    +關(guān)注

    關(guān)注

    22

    文章

    3680

    瀏覽量

    90475
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    英偉達(dá)發(fā)布新一代H200,搭載HBM3e,推理速度是H100兩倍!

    電子發(fā)燒友網(wǎng)報(bào)道(文/李彎彎)日前,英偉達(dá)正式宣布,在目前最強(qiáng)AI芯片H100的基礎(chǔ)上進(jìn)行一次大升級(jí),發(fā)布新一代H200芯片。
    的頭像 發(fā)表于 11-15 01:15 ?3274次閱讀
    <b class='flag-5'>英偉</b><b class='flag-5'>達(dá)</b>發(fā)布新一代<b class='flag-5'>H</b>200,搭載HBM3e,推理速度是<b class='flag-5'>H100</b>兩倍!

    首批1024塊H100 GPU,正崴集團(tuán)將建中國(guó)臺(tái)灣最大AI計(jì)算中心

    中國(guó)臺(tái)灣當(dāng)?shù)卣思瘓F(tuán)5月27日宣布,將與日本公司Ubitus共同打造人工智能(AI計(jì)算中心,其中第一期將導(dǎo)入128個(gè)機(jī)柜,共計(jì)1024張英偉達(dá)H1
    的頭像 發(fā)表于 05-29 10:05 ?890次閱讀

    進(jìn)一步解讀英偉達(dá) Blackwell 架構(gòu)、NVlink及GB200 超級(jí)芯片

    藥物設(shè)計(jì)、量子計(jì)算和生成式 AI 等領(lǐng)域。 為了紀(jì)念杰出的數(shù)學(xué)家David H.Blackwell,英偉達(dá) Blackwell架構(gòu)被明確設(shè)計(jì)
    發(fā)表于 05-13 17:16

    英偉達(dá)超級(jí)計(jì)算機(jī)Eos揭秘

    英偉達(dá)將Eos描述為一個(gè)可以為“AI工廠”提供動(dòng)力的系統(tǒng),因?yàn)樗且粋€(gè)非常大規(guī)模的SuperPod DGX H100系統(tǒng)。
    的頭像 發(fā)表于 04-24 10:15 ?462次閱讀

    英偉達(dá)H200顯卡價(jià)格

    英偉達(dá)H200顯卡的具體價(jià)格尚未公布。根據(jù)上一代H100顯卡的價(jià)格范圍,預(yù)計(jì)H200的單片價(jià)格將超過40000美元。由于新芯片通常定價(jià)較高,
    的頭像 發(fā)表于 03-07 16:09 ?3367次閱讀

    英偉達(dá)H200和H100的比較

    英偉達(dá)H200和H100是兩款不同的AI芯片,它們各自具有獨(dú)特的特點(diǎn)和優(yōu)勢(shì)。以下是關(guān)于這兩款芯片的一些比較。
    的頭像 發(fā)表于 03-07 15:53 ?3764次閱讀

    戴爾績(jī)后暴漲20% AI服務(wù)器需求激增

    盡管面臨先進(jìn)計(jì)算機(jī)芯片供應(yīng)瓶頸,戴爾科技依然努力滿足市場(chǎng)需求。Jeff Clarke表明,盡管需求持續(xù)高漲,但公司看到英偉達(dá)
    的頭像 發(fā)表于 03-01 15:53 ?878次閱讀

    英偉達(dá):預(yù)計(jì)下一代AI芯片B100短缺,計(jì)劃擴(kuò)產(chǎn)并采用新架構(gòu)

    近期熱門的 H100 芯片運(yùn)期短縮數(shù)天后,英偉達(dá)新型 AI 旗艦芯片 B100搭載全新的 Blackwell,有望使
    的頭像 發(fā)表于 02-25 09:29 ?796次閱讀

    AMD正式發(fā)布 MI300X AI 加速器,力壓英偉達(dá)H100

    爭(zhēng)奪剩余的市場(chǎng)而戰(zhàn)。然而,MI300X對(duì)英偉達(dá)H100構(gòu)成了有力的競(jìng)爭(zhēng),甚至微軟的首席技術(shù)官最近都表示,他認(rèn)為AMD最終在這個(gè)市場(chǎng)上將非常有競(jìng)爭(zhēng)力。
    的頭像 發(fā)表于 12-10 11:30 ?875次閱讀
    AMD正式發(fā)布 MI300X <b class='flag-5'>AI</b> 加速器,力壓<b class='flag-5'>英偉</b><b class='flag-5'>達(dá)</b><b class='flag-5'>H100</b>

    英偉達(dá)H100,沒那么缺貨了 !RTX 4090 ,大漲

    這樣,在云端使用 H100 GPU 的排隊(duì)時(shí)間可能會(huì)縮短。數(shù)據(jù)中心提供商和前比特幣挖礦公司正在開設(shè)具有 H100 集群的數(shù)據(jù)中心。這些公司承諾以大型云提供商成本的一小部分提供 H100 GPU
    的頭像 發(fā)表于 11-23 15:59 ?1549次閱讀

    英偉達(dá)推出新款AI芯片H200 性能飆升90%但是估計(jì)依然被出口管制

    生成式AI火爆全球之后,英偉達(dá)AI芯片一張難求,就在英偉達(dá)重量級(jí)選手
    的頭像 發(fā)表于 11-14 16:45 ?1413次閱讀
    <b class='flag-5'>英偉</b><b class='flag-5'>達(dá)</b>推出新款<b class='flag-5'>AI</b>芯片<b class='flag-5'>H</b>200 性能飆升90%但是估計(jì)依然被出口管制

    英偉達(dá)推升級(jí)版AI芯片H200 亞馬遜、Google、甲骨文明年采用

    報(bào)告稱,雖然對(duì)被稱為“ai加速器芯片”的英偉達(dá)h100的最新版本的需求很大,但amd表示,將在第四季度推出本公司的競(jìng)爭(zhēng)產(chǎn)品mi300,而英特
    的頭像 發(fā)表于 11-14 11:18 ?770次閱讀

    英偉達(dá)特供版芯片將上市:性能最高不到H100的20%

    本周四,一些媒體首次報(bào)道了英偉達(dá)特供芯片的消息。報(bào)道稱,這三款新產(chǎn)品是在 H100 GPU 的基礎(chǔ)版本基礎(chǔ)上進(jìn)行修改的,采用的是最新架構(gòu),但性能大幅度縮減。H100 GPU 是一種用于
    的頭像 發(fā)表于 11-13 16:44 ?860次閱讀
    <b class='flag-5'>英偉</b><b class='flag-5'>達(dá)</b>特供版芯片將上市:性能最高不到<b class='flag-5'>H100</b>的20%

    英偉達(dá)AI芯片H20綜合算力比H100降80%

    但據(jù)悉,三種新型AI芯片不是“改良型”,而是“縮小型”。用于ai模型教育的hgx h20的帶寬和計(jì)算速度是有限的。整體計(jì)算能力理論上比nvi
    的頭像 發(fā)表于 11-13 09:41 ?1561次閱讀

    英偉達(dá)H100的最強(qiáng)替代者

    首先,我們首先要說的是,如果您現(xiàn)在想要訓(xùn)練基礎(chǔ)模型(例如 ChatGPT),那么 NVIDIA H100 80GB SXM5 仍然是首選 GPU。一旦基礎(chǔ)模型經(jīng)過訓(xùn)練,通??梢栽诔杀竞?b class='flag-5'>功耗顯著降低的部件上根據(jù)特定領(lǐng)域的數(shù)據(jù)或推理來定制模型。
    的頭像 發(fā)表于 11-08 15:35 ?933次閱讀
    <b class='flag-5'>英偉</b><b class='flag-5'>達(dá)</b><b class='flag-5'>H100</b>的最強(qiáng)替代者