搜索歷史

清空
搜索熱詞
      0
      • 聊天消息
      • 系統(tǒng)消息
      • 評(píng)論與回復(fù)
      VIP于 到期 續(xù)費(fèi)
      登錄后你可以
      • 下載海量資料
      • 學(xué)習(xí)在線課程
      • 觀看技術(shù)視頻
      • 寫文章/發(fā)帖/加入社區(qū)
      會(huì)員中心
      創(chuàng)作中心
      發(fā)布
      創(chuàng)作活動(dòng)

      完善資料讓更多小伙伴認(rèn)識(shí)你，還能領(lǐng)取20積分哦，立即完善>

      3天內(nèi)不再提示

      英偉達(dá)GTC：ChatGPT專用Hopper GPU H100 NVL來(lái)了

      汽車電子技術(shù) ? 2023-03-23 16:55 ? 次閱讀

      英偉達(dá)GTC：ChatGPT專用Hopper GPU H100 NVL來(lái)了

      ChatGPT 一經(jīng)推出火爆程度讓人咋舌，似乎一夜之間就將生成式 AI、大語(yǔ)言模型推到了風(fēng)口浪尖。英偉達(dá)估計(jì)也要笑出聲來(lái)，黃仁勛預(yù)計(jì)英偉達(dá)2023年的生成式人工智能的收入將相當(dāng)大，人工智能及其基礎(chǔ)設(shè)施即服務(wù)（infrastructure as-a-service）產(chǎn)品將拓展其商業(yè)模式。

      要之前此前NVIDIA就已經(jīng)入局，在2016年，NVIDIA就向OpenAI交付了第一臺(tái)NVIDIA DGX AI超級(jí)計(jì)算機(jī)——支持 ChatGPT 的大型語(yǔ)言模型突破背后的引擎?，F(xiàn)在GPT-4需要的算力更大，對(duì)速度需求更強(qiáng)烈。

      pYYBAGQcE4GAQyMNAACgMjzuUMg307.png

      pYYBAGQcE_CAW9TFAACS-dy454s037.png

      poYBAGQcE_mANycgAABAXwRfsCo567.png

      現(xiàn)在英偉達(dá)面向人工智能及其基礎(chǔ)設(shè)施強(qiáng)發(fā)力，GPU提速，ChatGPT專用Hopper GPU H100 NVL性能強(qiáng)大，ChatGPT專用GPU可提速10倍，H100 NVL是專門為L(zhǎng)LM設(shè)計(jì)的GPU，采用了Transformer加速解決方案，可用于處理ChatGPT。相比于英偉達(dá)HGX A100，一臺(tái)搭載四對(duì)H100和雙NVLINK的標(biāo)準(zhǔn)服務(wù)器速度能快10倍，可以將大語(yǔ)言模型的處理成本降低一個(gè)數(shù)量級(jí)。

      聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
      • gpu
        gpu
        +關(guān)注

        關(guān)注

        27

        文章

        4632

        瀏覽量

        128448
      • AI
        AI
        +關(guān)注

        關(guān)注

        87

        文章

        29383

        瀏覽量

        267679
      • 英偉達(dá)
        +關(guān)注

        關(guān)注

        22

        文章

        3683

        瀏覽量

        90490
      • gtc
        gtc
        +關(guān)注

        關(guān)注

        0

        文章

        73

        瀏覽量

        4406
      • ChatGPT
        +關(guān)注

        關(guān)注

        28

        文章

        1525

        瀏覽量

        7254
      • H100
        +關(guān)注

        關(guān)注

        0

        文章

        31

        瀏覽量

        273
      收藏 人收藏

        評(píng)論

        相關(guān)推薦

        英偉達(dá)發(fā)布新一代H200，搭載HBM3e，推理速度是H100兩倍！

        兼容，在推理速度上幾乎達(dá)到H100的兩倍。H200預(yù)計(jì)將于明年二季度開始交付。此外，英偉達(dá)還透露，下一代Blackwell B100
        的頭像 發(fā)表于 11-15 01:15 ?3280次閱讀
        <b class='flag-5'>英偉</b><b class='flag-5'>達(dá)</b>發(fā)布新一代<b class='flag-5'>H</b>200，搭載HBM3e，推理速度是<b class='flag-5'>H100</b>兩倍！

        揭秘智算中心的互聯(lián)技術(shù)決策

        英偉達(dá)設(shè)計(jì)的DGX H100 NVL256超級(jí)計(jì)算集群，原本計(jì)劃集成256個(gè)NVIDIA H100 GP
        的頭像 發(fā)表于 10-22 16:17 ?99次閱讀
        揭秘智算中心的互聯(lián)技術(shù)決策

        英偉達(dá)或取消B100轉(zhuǎn)用B200A代替

        今年3月份，英偉達(dá)在美國(guó)加利福尼亞州圣何塞會(huì)議中心召開的GTC 2024大會(huì)上推出了Blackwell架構(gòu)GPU。原定于今年底出貨的B100
        的頭像 發(fā)表于 08-08 17:19 ?356次閱讀

        進(jìn)一步解讀英偉達(dá) Blackwell 架構(gòu)、NVlink及GB200 超級(jí)芯片

        架構(gòu)在高性能計(jì)算方面的應(yīng)用有哪些？ **1. **人工智能訓(xùn)練和推理 Blackwell 架構(gòu)的 GPU 核心在訓(xùn)練性能上相較前代 Hopper H100 GPU 提升了四倍，推理性能
        發(fā)表于 05-13 17:16

        英偉達(dá)H200帶寬狂飆

        英偉達(dá)H200帶寬的顯著提升主要得益于其強(qiáng)大的硬件配置和先進(jìn)的技術(shù)創(chuàng)新。H200配備了高達(dá)141GB的HBM3e顯存，與前代產(chǎn)品H100相比
        的頭像 發(fā)表于 03-07 16:44 ?818次閱讀

        英偉達(dá)H200顯卡價(jià)格

        英偉達(dá)H200顯卡的具體價(jià)格尚未公布。根據(jù)上一代H100顯卡的價(jià)格范圍，預(yù)計(jì)H200的單片價(jià)格將超過(guò)40000美元。由于新芯片通常定價(jià)較高，
        的頭像 發(fā)表于 03-07 16:09 ?3400次閱讀

        英偉達(dá)H200和H100的比較

        英偉達(dá)H200和H100是兩款不同的AI芯片，它們各自具有獨(dú)特的特點(diǎn)和優(yōu)勢(shì)。以下是關(guān)于這兩款芯片的一些比較。
        的頭像 發(fā)表于 03-07 15:53 ?3788次閱讀

        英偉達(dá)Grace-Hopper提供一個(gè)緊密集成的CPU + GPU解決方案

        英偉達(dá)Grace-Hopper提供了一個(gè)緊密集成的CPU + GPU解決方案，針對(duì)生成式人工智能逐漸成為主導(dǎo)的市場(chǎng)環(huán)境。
        的頭像 發(fā)表于 01-02 15:52 ?820次閱讀

        AI計(jì)算需求激增，英偉達(dá)H100功耗成挑戰(zhàn)

        根據(jù)預(yù)測(cè)，若H100的年利用率保持在61%，那么單臺(tái)設(shè)備每年將耗電3740千瓦小時(shí)左右。如果英偉達(dá)在2023年售出150萬(wàn)塊H100，2024年再增加至200萬(wàn)塊，那么到2024年底，
        的頭像 發(fā)表于 12-28 09:29 ?2014次閱讀

        AMD正式發(fā)布 MI300X AI 加速器，力壓英偉達(dá)H100

        爭(zhēng)奪剩余的市場(chǎng)而戰(zhàn)。然而，MI300X對(duì)英偉達(dá)的H100構(gòu)成了有力的競(jìng)爭(zhēng)，甚至微軟的首席技術(shù)官最近都表示，他認(rèn)為AMD最終在這個(gè)市場(chǎng)上將非常有競(jìng)爭(zhēng)力。
        的頭像 發(fā)表于 12-10 11:30 ?877次閱讀
        AMD正式發(fā)布 MI300X AI 加速器，力壓<b class='flag-5'>英偉</b><b class='flag-5'>達(dá)</b><b class='flag-5'>H100</b>

        英偉達(dá)H100，沒(méi)那么缺貨了 !RTX 4090 ，大漲

        這樣，在云端使用 H100 GPU 的排隊(duì)時(shí)間可能會(huì)縮短。數(shù)據(jù)中心提供商和前比特幣挖礦公司正在開設(shè)具有 H100 集群的數(shù)據(jù)中心。這些公司承諾以大型云提供商成本的一小部分提供 H100
        的頭像 發(fā)表于 11-23 15:59 ?1553次閱讀

        英偉達(dá)特供版芯片將上市：性能最高不到H100的20%

        本周四，一些媒體首次報(bào)道了英偉達(dá)特供芯片的消息。報(bào)道稱，這三款新產(chǎn)品是在 H100 GPU 的基礎(chǔ)版本基礎(chǔ)上進(jìn)行修改的，采用的是最新架構(gòu)，但性能大幅度縮減。
        的頭像 發(fā)表于 11-13 16:44 ?865次閱讀
        <b class='flag-5'>英偉</b><b class='flag-5'>達(dá)</b>特供版芯片將上市：性能最高不到<b class='flag-5'>H100</b>的20%

        揭秘：英偉達(dá)H100最強(qiáng)替代者

        目前，用于高端推理的 GPU 主要有三種：NVIDIA A100、NVIDIA H100 和新的 NVIDIA L40S。我們將跳過(guò)NVIDIA L4 24GB，因?yàn)樗袷堑投送评砜ā?/div>
        的頭像 發(fā)表于 11-13 16:13 ?1439次閱讀
        揭秘：<b class='flag-5'>英偉</b><b class='flag-5'>達(dá)</b><b class='flag-5'>H100</b>最強(qiáng)替代者

        傳英偉達(dá)新AI芯片H20綜合算力比H100降80%

        但據(jù)悉，三種新型AI芯片不是“改良型”，而是“縮小型”。用于ai模型教育的hgx h20的帶寬和計(jì)算速度是有限的。整體計(jì)算能力理論上比nvidia的h100 gpu芯片低80%左右。h
        的頭像 發(fā)表于 11-13 09:41 ?1563次閱讀

        英偉達(dá)H100的最強(qiáng)替代者

        首先，我們首先要說(shuō)的是，如果您現(xiàn)在想要訓(xùn)練基礎(chǔ)模型（例如 ChatGPT），那么 NVIDIA H100 80GB SXM5 仍然是首選 GPU。一旦基礎(chǔ)模型經(jīng)過(guò)訓(xùn)練，通常可以在成本和功耗顯著降低的部件上根據(jù)特定領(lǐng)域的數(shù)據(jù)或推理
        的頭像 發(fā)表于 11-08 15:35 ?935次閱讀
        <b class='flag-5'>英偉</b><b class='flag-5'>達(dá)</b><b class='flag-5'>H100</b>的最強(qiáng)替代者