0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Vicor技術(shù)如何改進(jìn)生成式人工智能的供電

Vicor ? 來(lái)源:Vicor ? 2024-10-16 09:54 ? 次閱讀

專訪 Maury Wood,Vicor 戰(zhàn)略營(yíng)銷副總裁

生成式人工智能(genAI)帶來(lái)的文化革命可能像互聯(lián)網(wǎng)普及一樣對(duì)人類產(chǎn)生深遠(yuǎn)影響。從您的角度來(lái)看,目前情況如何?

過(guò)去 18 個(gè)月以來(lái),我們見(jiàn)證了整個(gè)生成式人工智能生態(tài)系統(tǒng)的飛速創(chuàng)新,涵蓋處理器芯片、專用軟件和超級(jí)計(jì)算機(jī)等多個(gè)領(lǐng)域,這些創(chuàng)新加速了特定領(lǐng)域人工智能應(yīng)用的開(kāi)發(fā),同時(shí),許多企業(yè)紛紛宣布戰(zhàn)略規(guī)劃,這預(yù)示著生成式人工智能將在可預(yù)見(jiàn)的未來(lái)對(duì)全球經(jīng)濟(jì)產(chǎn)生巨大影響。目前,生成式人工智能模型的訓(xùn)練已經(jīng)在計(jì)算性能、存儲(chǔ)容量和網(wǎng)絡(luò)帶寬方面達(dá)到了前所未有的高水平。一些當(dāng)今性能最高的超級(jí)計(jì)算機(jī)(通常以浮點(diǎn)數(shù)學(xué)性能衡量)專門用于生成式人工智能模型訓(xùn)練。生成式人工智能正推動(dòng)半導(dǎo)體、基礎(chǔ)設(shè)施硬件、系統(tǒng)軟件和網(wǎng)絡(luò)邊緣等領(lǐng)域的空前投資,這種投資熱潮有望進(jìn)一步擴(kuò)展到家庭和工作場(chǎng)所的嵌入式人工智能設(shè)備領(lǐng)域。

生成式人工智能的快速普及會(huì)帶來(lái)哪些負(fù)面影響?

除了人們普遍擔(dān)憂的問(wèn)題外,這波創(chuàng)新浪潮的一個(gè)主要成本是云數(shù)據(jù)中心的能耗急劇增加,這些數(shù)據(jù)中心承擔(dān)著生成式人工智能的訓(xùn)練和推理任務(wù),而能耗的預(yù)測(cè)數(shù)據(jù)令人擔(dān)憂。例如,《紐約時(shí)報(bào)》的一項(xiàng)預(yù)測(cè)顯示,到 2027 年,生成式人工智能的用電量將相當(dāng)于阿根廷、荷蘭或瑞典一年的用電量。生成式人工智能模型的訓(xùn)練和推理帶來(lái)日益嚴(yán)重的能耗挑戰(zhàn),與社會(huì)減少能源使用和溫室氣體排放的目標(biāo)背道而馳。

為何生成式人工智能計(jì)算如此耗電?

首先,讓我們區(qū)分兩個(gè)概念。當(dāng)我們個(gè)人使用生成式人工智能工具時(shí),我們是在對(duì)預(yù)訓(xùn)練的大型語(yǔ)言模型(LLM)進(jìn)行查詢,這種所謂的"推理"活動(dòng)并不特別耗電,甚至可以在網(wǎng)絡(luò)邊緣設(shè)備上進(jìn)行。然而,訓(xùn)練生成式人工智能大型語(yǔ)言模型的過(guò)程則需要在我之前提到的超級(jí)計(jì)算機(jī)上進(jìn)行大量計(jì)算(目前這個(gè)過(guò)程通常需要數(shù)月)。這些超級(jí)計(jì)算機(jī)使用成千上萬(wàn)個(gè)基于圖形處理單元(GPU)的專用處理器,每個(gè)處理器包含的晶體管都數(shù)量驚人——通常超過(guò) 1000 億。這些訓(xùn)練處理器采用了最先進(jìn)的半導(dǎo)體工藝技術(shù),如 4 納米 CMOS 工藝,但在運(yùn)行過(guò)程中會(huì)漏電。由于這些晶體管的供電電壓約為 0.7VDD,持續(xù)的電流需求可能高達(dá) 1000 安培或更高,導(dǎo)致持續(xù)功耗(也稱為熱設(shè)計(jì)功耗)達(dá)到 700 瓦特或更高。如果每臺(tái)生成式人工智能超級(jí)計(jì)算機(jī)的數(shù)千個(gè)處理器和全球數(shù)百臺(tái)云端生成式人工智能超級(jí)計(jì)算機(jī)都乘以 700 瓦,總體電力消耗就會(huì)急劇飆升。

舉個(gè)例子,根據(jù)英偉達(dá)(Nvidia)的數(shù)據(jù),OpenAI 的 GPT-3 模型有 1750 億個(gè)參數(shù),整個(gè)訓(xùn)練周期需要約 300 澤字節(jié)浮點(diǎn)運(yùn)算(300 zettaFLOPS,即每秒 1021 次浮點(diǎn)運(yùn)算),相當(dāng)于 3X1023 次數(shù)學(xué)運(yùn)算。而且這些模型的規(guī)模只會(huì)不斷增加,目前正在開(kāi)發(fā)的神經(jīng)網(wǎng)絡(luò)模型參數(shù)已達(dá)到萬(wàn)億級(jí)。

229e9bd8-8b53-11ef-a511-92fbcf53809c.jpg

圖 1:生成式人工智能訓(xùn)練處理器的峰值電流需求不斷攀升,似乎沒(méi)有盡頭。

常規(guī)開(kāi)關(guān)模式電源架構(gòu)能否滿足生成式人工智能的供電需求?

直到最近,數(shù)據(jù)中心機(jī)架還在使用 12V 直流配電系統(tǒng)。在過(guò)去十年中,Vicor 等電源系統(tǒng)創(chuàng)新公司一直倡導(dǎo)在數(shù)據(jù)中心機(jī)架中使用 48V 直流電源,因?yàn)楦鶕?jù)歐姆定律,電壓更高可以在具有非零電阻的導(dǎo)體中降低功耗。開(kāi)放計(jì)算項(xiàng)目組織(Open Compute Project)標(biāo)準(zhǔn)化的開(kāi)放機(jī)架規(guī)范大大推動(dòng)了 48V 直流電源在高性能計(jì)算應(yīng)用中的采用。在早期的生成式人工智能配電架構(gòu)中,這種 48V 直流電源在加速模塊上轉(zhuǎn)換為中間母線電壓,然后再通過(guò)跨電感電壓穩(wěn)壓器(TLVR)供電,然而這種方法在可擴(kuò)展性和電流密度方面存在明顯的局限性。

概念性加速模塊(AM),展示基于 GPU 的處理器并支持高帶寬內(nèi)存(HBM),是生成式人工智能的基本構(gòu)建模塊。

為何 TLVR 方法不足以滿足生成式人工智能處理器的供電需求?

在用于生成式人工智能訓(xùn)練處理器的加速模塊上,可用的印刷電路板(PCB)空間非常有限,這意味著這些處理器的供電子系統(tǒng)必須具有超高的功率密度(W/mm2)和電流密度(A/mm2)。傳統(tǒng)電源根本無(wú)法達(dá)到所需的功率和電流密度,既無(wú)法提供足夠的電流,也無(wú)法適應(yīng)有限的 PCB 面積。此外,生成式人工智能訓(xùn)練處理器的電源組件還必須滿足負(fù)載瞬變引起的動(dòng)態(tài)性能需求。同樣,傳統(tǒng)的供電方法并不能很好地滿足這些要求。另外,生成式人工智能供電架構(gòu)中的組件必須具有出色的散熱能力。無(wú)論生成式人工智能系統(tǒng)采用液冷還是風(fēng)冷,電源組件都必須具有高熱導(dǎo)率,其封裝還要能在整個(gè)使用壽命期內(nèi)承受極高水平的熱循環(huán)。最新的生成式人工智能加速模塊采用分級(jí)電源架構(gòu),其負(fù)載點(diǎn)轉(zhuǎn)換器使用電流倍增技術(shù),如 Vicor 公司的創(chuàng)新技術(shù)。

Vicor 的分比式電源架構(gòu)(FPA)在負(fù)載點(diǎn)采用具有出色散熱性能的模塊化電流倍增器(MCM),非常適合生成式人工智能訓(xùn)練應(yīng)用。

Vicor 技術(shù)如何改進(jìn)生成式人工智能的供電?

Vicor 獨(dú)特的電源模塊采用模塑成型,然后使用無(wú)電鍍鎳浸金(ENIG)工藝進(jìn)行電鍍。模壓結(jié)構(gòu)確保機(jī)械剛性,以及在溫度、濕度和振動(dòng)等環(huán)境下的穩(wěn)定性。電鍍外表面有利于高良率的表面貼裝組裝,同時(shí)為使用冷板強(qiáng)制風(fēng)冷或液冷提供了理想的熱傳導(dǎo)條件。Vicor 電源模塊采用專有的正弦振幅轉(zhuǎn)換器(SAC)電路拓?fù)?,使用零電壓開(kāi)關(guān)(ZVS)和零電流開(kāi)關(guān)(ZCS)技術(shù)來(lái)最大限度地減少開(kāi)關(guān)噪聲和雜散輻射,同時(shí)最大化 DC-DC 轉(zhuǎn)換效率。Vicor 還使用高頻 MOSFET 開(kāi)關(guān)來(lái)減小高度集成模塊的物理尺寸。此外,Vicor 為人工智能/高性能計(jì)算應(yīng)用設(shè)計(jì)的負(fù)載點(diǎn)組件非常?。ā?.7mm),并在一系列與 PCB 兼容的封裝中提供可擴(kuò)展的電流輸出。在可預(yù)見(jiàn)的未來(lái),生成式人工智能無(wú)疑將繼續(xù)是現(xiàn)代計(jì)算世界中最耗電且散熱挑戰(zhàn)最大的應(yīng)用。Vicor 將繼續(xù)創(chuàng)新,滿足這一激動(dòng)人心的新業(yè)務(wù)機(jī)會(huì)不斷攀升的供電需求。

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 處理器
    +關(guān)注

    關(guān)注

    68

    文章

    19032

    瀏覽量

    228448
  • 數(shù)據(jù)中心
    +關(guān)注

    關(guān)注

    16

    文章

    4575

    瀏覽量

    71803
  • 人工智能
    +關(guān)注

    關(guān)注

    1789

    文章

    46316

    瀏覽量

    236479

原文標(biāo)題:隨著人工智能(AI)的發(fā)展,電力挑戰(zhàn)也隨之而來(lái)

文章出處:【微信號(hào):Vicor,微信公眾號(hào):Vicor】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    risc-v在人工智能圖像處理應(yīng)用前景分析

    和使用該技術(shù),無(wú)需支付專利費(fèi)或使用費(fèi)。這大大降低了人工智能圖像處理技術(shù)的研發(fā)成本,并吸引了大量的開(kāi)發(fā)者、企業(yè)和研究機(jī)構(gòu)參與其生態(tài)建設(shè)。 靈活性則體現(xiàn)在RISC-V可以根據(jù)不同的應(yīng)用場(chǎng)景進(jìn)行定制和優(yōu)化,從而
    發(fā)表于 09-28 11:00

    生成人工智能在教育中的應(yīng)用

    生成人工智能在教育中的應(yīng)用日益廣泛,為教育領(lǐng)域帶來(lái)了諸多變革和創(chuàng)新。以下是對(duì)生成人工智能在教
    的頭像 發(fā)表于 09-16 16:07 ?336次閱讀

    生成人工智能的概念_生成人工智能主要應(yīng)用場(chǎng)景

    生成人工智能(Generative Artificial Intelligence,簡(jiǎn)稱GAI)是一種先進(jìn)的人工智能技術(shù),其核心在于利用計(jì)算機(jī)算法和大量數(shù)據(jù)來(lái)
    的頭像 發(fā)表于 09-16 16:05 ?371次閱讀

    揭秘生成人工智能如何重塑視頻會(huì)議體驗(yàn)

    面對(duì)面交流所帶來(lái)的體驗(yàn)。與此同時(shí),生成人工智能技術(shù)的飛速發(fā)展,為破解混合會(huì)議長(zhǎng)期以來(lái)面臨的諸多挑戰(zhàn)提供了創(chuàng)新性解決方案。 生成
    的頭像 發(fā)表于 08-19 14:54 ?135次閱讀

    如何利用生成人工智能進(jìn)行精確編碼

    隨著技術(shù)的飛速發(fā)展,生成人工智能(Generative AI)在軟件開(kāi)發(fā)領(lǐng)域的應(yīng)用日益廣泛。生成
    的頭像 發(fā)表于 07-05 17:51 ?446次閱讀

    中國(guó)生成人工智能專利數(shù)量傲視群雄

    在全球科技創(chuàng)新的浪潮中,生成人工智能(Generative AI)作為一股不可忽視的力量,正以前所未有的速度重塑著多個(gè)行業(yè)的面貌。近日,世界知識(shí)產(chǎn)權(quán)組織(WIPO)發(fā)布的《世界知識(shí)產(chǎn)權(quán)組織
    的頭像 發(fā)表于 07-04 15:39 ?297次閱讀

    Vicor引領(lǐng)生成人工智能供電技術(shù)的創(chuàng)新浪潮

    ? ? 雖然人工智能有望帶來(lái)人類生產(chǎn)力的飛躍,但其運(yùn)行時(shí)能耗巨大,導(dǎo)致溫室氣體的排放也顯著增加。如今,Vicor 電源模塊與垂直供電架構(gòu)相結(jié)合,為 GenAI 提供了高效的供電方法,實(shí)
    的頭像 發(fā)表于 06-11 16:03 ?635次閱讀
    <b class='flag-5'>Vicor</b>引領(lǐng)<b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>人工智能</b><b class='flag-5'>供電</b><b class='flag-5'>技術(shù)</b>的創(chuàng)新浪潮

    國(guó)內(nèi)首個(gè)生成人工智能安全技術(shù)文件發(fā)布,燧原科技深度參編

    近日,全國(guó)網(wǎng)絡(luò)安全標(biāo)準(zhǔn)化技術(shù)委員會(huì)(TC260)正式發(fā)布了《生成人工智能服務(wù)安全基本要求》(以下簡(jiǎn)稱《基本要求》),是國(guó)內(nèi)首個(gè)面向AIGC服務(wù)安全領(lǐng)域的
    的頭像 發(fā)表于 03-12 10:35 ?594次閱讀
    國(guó)內(nèi)首個(gè)<b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>人工智能</b>安全<b class='flag-5'>技術(shù)</b>文件發(fā)布,燧原科技深度參編

    嵌入人工智能的就業(yè)方向有哪些?

    嵌入人工智能的就業(yè)方向有哪些? 在新一輪科技革命與產(chǎn)業(yè)變革的時(shí)代背景下,嵌入人工智能成為國(guó)家新型基礎(chǔ)建設(shè)與傳統(tǒng)產(chǎn)業(yè)升級(jí)的核心驅(qū)動(dòng)力。同時(shí)在此背景驅(qū)動(dòng)下,眾多名企也紛紛在嵌入
    發(fā)表于 02-26 10:17

    小白學(xué)大模型:什么是生成人工智能?

    來(lái)源:Coggle數(shù)據(jù)科學(xué)什么是生成人工智能?在過(guò)去幾年中,機(jī)器學(xué)習(xí)領(lǐng)域取得了迅猛進(jìn)步,創(chuàng)造了人工智能的一個(gè)新的子領(lǐng)域:生成
    的頭像 發(fā)表于 02-22 08:27 ?1455次閱讀
    小白學(xué)大模型:什么是<b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>人工智能</b>?

    生成人工智能和感知人工智能的區(qū)別

    生成新的內(nèi)容和信息的人工智能系統(tǒng)。這些系統(tǒng)能夠利用已有的數(shù)據(jù)和知識(shí)來(lái)生成全新的內(nèi)容,如圖片、音樂(lè)、文本等。生成
    的頭像 發(fā)表于 02-19 16:43 ?1328次閱讀

    關(guān)于生成人工智能你應(yīng)該知道的7件事

    不同類型的學(xué)習(xí)提供機(jī)會(huì)。1、生成人工智能是什么?長(zhǎng)期以來(lái),人工智能一直在我們?nèi)粘J褂玫脑S多技術(shù)的幕后運(yùn)作,但隨著2022年11月ChatG
    的頭像 發(fā)表于 02-19 13:27 ?776次閱讀
    關(guān)于<b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>人工智能</b>你應(yīng)該知道的7件事

    2024年生成人工智能五大發(fā)展趨勢(shì)

    2023年是技術(shù)發(fā)展的分水嶺,生成人工智能成為主流。隨著我們進(jìn)入2024年,預(yù)計(jì)生成
    的頭像 發(fā)表于 01-23 09:50 ?1285次閱讀

    生成人工智能的應(yīng)用

    ChatGPT 雖然很酷,但這只是一個(gè)開(kāi)始; 生成人工智能的企業(yè)用途要復(fù)雜得多。
    的頭像 發(fā)表于 01-09 11:19 ?1155次閱讀

    如何使單片機(jī)與無(wú)線供電結(jié)合,從而使人工智能脫離電池和線路?

    如何使單片機(jī)與無(wú)線供電結(jié)合,從而使人工智能脫離電池和線路
    發(fā)表于 10-31 06:34