0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

AIGC掀算力需求革命,邊緣計(jì)算將不再“邊緣”

科技云報(bào)到 ? 來源:jf_60444065 ? 作者:jf_60444065 ? 2024-04-22 14:51 ? 次閱讀

科技云報(bào)道原創(chuàng)。

隨著以大模型為代表的AIGC時(shí)代拉開序幕,算力需求持續(xù)爆發(fā),AI與邊緣深度融合已是大勢(shì)所趨,越來越多的企業(yè)開始積極布局GenAI。

GenAI技術(shù)的商用化部署和應(yīng)用成為企業(yè)競逐的新陣地,勾勒出大模型從“技術(shù)力”轉(zhuǎn)向“生產(chǎn)力”的新生態(tài)。

算力就是生產(chǎn)力,更豐富的算力資源成為人工智能競爭的核心基石。

IDC預(yù)計(jì),全球AI計(jì)算市場(chǎng)規(guī)模將從2022年的195億美元增長到2026年的346.6億美元,其中GenAI計(jì)算市場(chǎng)規(guī)模將從2022年的8.2億美元增長到2026年的109.9億美元。

GenAI計(jì)算占整體AI計(jì)算市場(chǎng)的比例將從4.2%增長到31.7%。

AI算力瓶頸下邊緣計(jì)算崛起

隨著AI大模型爆發(fā),大模型迭代和訓(xùn)練所需的算力呈指數(shù)級(jí)增長。同時(shí),單個(gè)AI超算規(guī)模也受到功耗、土地、散熱等因素制約,算力供給與需求的缺口持續(xù)放大。

此前,ChatGPT官網(wǎng)一度停止Plus付費(fèi)項(xiàng)目的購買,GPT-4推出之后也已多次下調(diào)付費(fèi)用戶訪問限制,原因是訪問量激增超出了服務(wù)器的承受能力。

隨著這場(chǎng)GenAI熱潮逐步擴(kuò)張,算力短缺已成為行業(yè)面臨的共同挑戰(zhàn)。

如果說傳統(tǒng)算力是AI大模型的筋骨,那么邊緣算力就是遍布全身的神經(jīng)系統(tǒng)。

英偉達(dá)指出,為了有效運(yùn)用算力達(dá)成AI應(yīng)用目標(biāo),大規(guī)模數(shù)據(jù)中心勢(shì)必要增加資本支出以擴(kuò)大云端運(yùn)算效能,同時(shí)也將帶動(dòng)邊緣設(shè)備的銷售。

在AI向?qū)嶋H場(chǎng)景落地的過程中,邊緣算力的重要性將加速凸顯。未來的AI運(yùn)算將呈現(xiàn)出“訓(xùn)練與迭代在云端、推理與內(nèi)容生產(chǎn)梯度分布(云側(cè)+霧側(cè)+邊緣側(cè))”的格局變化,邊緣算力有望成為AI算力的重要組成部分。

相較于傳統(tǒng)云端,邊緣計(jì)算作為一種分布式計(jì)算架構(gòu),具有低延遲、高安全性、高可靠性、保護(hù)用戶隱私等優(yōu)勢(shì),其在實(shí)時(shí)決策在自動(dòng)駕駛、醫(yī)療保健、金融、制造等各個(gè)領(lǐng)域都至關(guān)重要。

從效率方面看,邊緣計(jì)算使GenAI模型能夠在邊緣處理數(shù)據(jù),從而顯著減少延遲并實(shí)現(xiàn)更快洞察。這意味著可以實(shí)時(shí)做出關(guān)鍵決策,從而提高運(yùn)營效率、增強(qiáng)客戶體驗(yàn)和更好的整體業(yè)務(wù)成果。

其次,通過利用邊緣計(jì)算,企業(yè)可以在邊緣設(shè)備網(wǎng)絡(luò)上分配計(jì)算負(fù)載,從而優(yōu)化資源利用率并有效擴(kuò)展。這種方法最大限度地減少了集中式云基礎(chǔ)設(shè)施的壓力并優(yōu)化了帶寬使用,從而節(jié)省了成本并提高了性能。

第三,通過邊緣計(jì)算,GenAI模型可以直接在邊緣設(shè)備或本地服務(wù)器上運(yùn)行,最大限度地減少將敏感數(shù)據(jù)傳輸?shù)郊惺皆品?wù)器的需要。

通過使數(shù)據(jù)更接近其來源,公司可以顯著降低與數(shù)據(jù)泄露、未經(jīng)授權(quán)的訪問和合規(guī)性問題相關(guān)的風(fēng)險(xiǎn)。

從關(guān)系上看,邊緣計(jì)算并不尋求取代云計(jì)算,相反是對(duì)其重要的補(bǔ)充。邊緣計(jì)算和云之間的協(xié)作可實(shí)現(xiàn)混合架構(gòu),最大限度地發(fā)揮兩種范式的優(yōu)勢(shì)。

GenAI模型可以利用云的可擴(kuò)展性和存儲(chǔ)功能,同時(shí)受益于邊緣設(shè)備的低延遲和本地處理能力。這種融合確保了GenAI采用的多功能且適應(yīng)性強(qiáng)的基礎(chǔ)設(shè)施。

邊緣計(jì)算重構(gòu)生產(chǎn)力邊界

隨著企業(yè)開始越來越多地?fù)肀I,邊緣計(jì)算和AI的融合擁有改變?nèi)蛐袠I(yè)的巨大潛力。通過利用本地化處理、實(shí)時(shí)洞察和優(yōu)化的資源利用,可以充分釋放AI的全部潛力,同時(shí)保護(hù)敏感數(shù)據(jù)并推動(dòng)組織進(jìn)入AI時(shí)代。

對(duì)此,全球科技巨頭開始將目光越來越多地轉(zhuǎn)向這一領(lǐng)域。

比如,華為、高通均推出邊緣AI產(chǎn)品。去年3月,高通中國在安卓手機(jī)上首次演示了模型參數(shù)超過10億的Stable Diffusion;華為于去年7月發(fā)布智慧搜圖功能,該功能通過對(duì)模型進(jìn)行小型化處理。

華為與高通一定程度上驗(yàn)證了高性能邊緣AI的可行性,并且表明通過模型壓縮+聯(lián)網(wǎng)智能的方式有望在邊緣端實(shí)現(xiàn)AI大模型的體驗(yàn)。

此外,英偉達(dá)黃仁勛也表示,人工智能的下一個(gè)浪潮將是具身智能。具身智能能夠在物理世界中進(jìn)行操作和感知,輸出各種機(jī)械動(dòng)作。

具身智能將邊緣算力需求提升到了一個(gè)新高度,具身智能的“大腦”不僅要處理視覺信息、生成提示詞,更要負(fù)責(zé)輸出指令來執(zhí)行機(jī)械動(dòng)作。在移動(dòng)芯片無法滿足所需算力的場(chǎng)景下,邊緣IDC將是算力的有效補(bǔ)充措施。

AIPC、AI手機(jī)、具身智能、自動(dòng)駕駛等AI新應(yīng)用的興起,無疑為邊緣云市場(chǎng)帶來了巨大影響,這種影響既體現(xiàn)在市場(chǎng)規(guī)模的擴(kuò)張,也反映在技術(shù)要求的提升方面。

AIPC、AI手機(jī)作為AI普惠的終端,其本質(zhì)在于云端與本地端的混合協(xié)作,通過利用云端的大數(shù)據(jù)處理能力來豐富本地設(shè)備的使用場(chǎng)景。

這種混合協(xié)作模式對(duì)云計(jì)算的性能和穩(wěn)定性提出了更高的要求,同時(shí)也為云計(jì)算帶來了更多的數(shù)據(jù)處理和存儲(chǔ)需求。

邊緣云作為離用戶最近的數(shù)據(jù)處理中心,能夠迅速響應(yīng)這些需求,提供低延遲、高帶寬的數(shù)據(jù)處理服務(wù)。

具身智能和自動(dòng)駕駛的發(fā)展,更是推動(dòng)了邊緣云市場(chǎng)的快速增長。智能機(jī)器人需要在真實(shí)的物理環(huán)境下執(zhí)行各種任務(wù),這就需要邊緣云提供強(qiáng)大的實(shí)時(shí)計(jì)算能力和數(shù)據(jù)交互能力。

不僅如此,邊緣AI應(yīng)用場(chǎng)景仍在持續(xù)豐富。邊緣云服務(wù)提供商Zenlayer技術(shù)專家表示,對(duì)于實(shí)時(shí)性要求極高的應(yīng)用,如自動(dòng)駕駛和智能制造,邊緣計(jì)算能夠提供毫秒級(jí)的低延遲響應(yīng)。

通過在車輛或生產(chǎn)線上部署邊緣計(jì)算節(jié)點(diǎn),客戶可以實(shí)時(shí)處理傳感器數(shù)據(jù),進(jìn)行決策和控制,從而確保安全和高效的生產(chǎn)運(yùn)行。

其次,對(duì)于需要處理大量數(shù)據(jù)的應(yīng)用,如智能視頻監(jiān)控和智慧城市,邊緣計(jì)算能夠減輕中心云的壓力,實(shí)現(xiàn)數(shù)據(jù)的本地化處理。

通過在攝像頭或傳感器附近部署邊緣計(jì)算設(shè)備,可以對(duì)視頻流進(jìn)行實(shí)時(shí)分析,識(shí)別異常事件,并及時(shí)進(jìn)行響應(yīng)。

此外,邊緣計(jì)算還能夠解決大模型在數(shù)據(jù)傳輸和隱私保護(hù)方面的問題。通過將模型推理過程放在邊緣端進(jìn)行,可以減少數(shù)據(jù)傳輸量,降低網(wǎng)絡(luò)帶寬要求,同時(shí)保護(hù)用戶數(shù)據(jù)的隱私和安全。

事實(shí)上,目前已有企業(yè)開始探索邊緣計(jì)算在AI大模型中的應(yīng)用。

據(jù)Zenlayer技術(shù)專家介紹,某家專注于大模型技術(shù)的初創(chuàng)企業(yè)基于Zenlayer提供的一整套SDN解決方案,通過智能路由和數(shù)據(jù)傳輸協(xié)議優(yōu)化等手段,搭建了一條高效穩(wěn)定的數(shù)據(jù)傳輸通道,確保大模型在訓(xùn)練、推理等關(guān)鍵環(huán)節(jié)都能獲得及時(shí)、準(zhǔn)確的數(shù)據(jù)支持,從而顯著提升了模型的應(yīng)用效果和用戶體驗(yàn)。

此外,還有對(duì)于一些AI大模型客戶希望將算力資源部署至海外,Zenlayer針對(duì)這類需求,提供了算力托管或算力租賃服務(wù),將計(jì)算資源部署在靠近用戶的邊緣數(shù)據(jù)中心,使大模型推理能夠在本地進(jìn)行,極大地降低了數(shù)據(jù)傳輸?shù)难舆t和成本。

同時(shí),Zenlayer還為客戶提供了一系列數(shù)據(jù)本地存儲(chǔ)和傳輸方案,在滿足各個(gè)國家對(duì)數(shù)據(jù)合規(guī)要求的同時(shí),盡量優(yōu)化業(yè)務(wù)交互體驗(yàn)。

結(jié)語

如果把視線放得更長遠(yuǎn),在AI等眾多顛覆性技術(shù)的背后,總離不開邊緣計(jì)算的存在。當(dāng)全球都沸騰在AIGC的風(fēng)潮里,邊緣云服務(wù)商正通過邊緣端和云邊的融合協(xié)同,滿足更多元的AI應(yīng)用場(chǎng)景,以更自如的算力,讓AI技術(shù)更自如地普惠。

【關(guān)于科技云報(bào)道】

專注于原創(chuàng)的企業(yè)級(jí)內(nèi)容行家——科技云報(bào)道。成立于2015年,是前沿企業(yè)級(jí)IT領(lǐng)域Top10媒體。獲工信部權(quán)威認(rèn)可,可信云、全球云計(jì)算大會(huì)官方指定傳播媒體之一。深入原創(chuàng)報(bào)道云計(jì)算、大數(shù)據(jù)、人工智能、區(qū)塊鏈等領(lǐng)域。

審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 邊緣計(jì)算
    +關(guān)注

    關(guān)注

    22

    文章

    3009

    瀏覽量

    48286
  • 算力
    +關(guān)注

    關(guān)注

    1

    文章

    871

    瀏覽量

    14651
  • AIGC
    +關(guān)注

    關(guān)注

    1

    文章

    338

    瀏覽量

    1449
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    邊緣計(jì)算網(wǎng)關(guān)是什么?邊緣計(jì)算網(wǎng)關(guān)的特點(diǎn)及價(jià)值

    在當(dāng)今日益發(fā)展的工業(yè)互聯(lián)網(wǎng)時(shí)代,智能制造正逐漸改變著傳統(tǒng)制造業(yè)的生產(chǎn)模式和運(yùn)營效率。在這個(gè)轉(zhuǎn)變中,數(shù)據(jù)的處理和分析能力成為企業(yè)提升競爭、實(shí)現(xiàn)智能化轉(zhuǎn)型的關(guān)鍵。其中,工業(yè)級(jí)邊緣計(jì)算網(wǎng)關(guān)作為連接工業(yè)
    的頭像 發(fā)表于 06-18 15:59 ?2041次閱讀
    <b class='flag-5'>邊緣</b><b class='flag-5'>計(jì)算</b>網(wǎng)關(guān)是什么?<b class='flag-5'>邊緣</b><b class='flag-5'>計(jì)算</b>網(wǎng)關(guān)的特點(diǎn)及價(jià)值

    邊緣計(jì)算是什么意思?邊緣計(jì)算的應(yīng)用

    邊緣計(jì)算(Edge Computing)是一種分布式計(jì)算范式,它將計(jì)算任務(wù)從數(shù)據(jù)中心遷移到網(wǎng)絡(luò)邊緣設(shè)備(如智能手機(jī)、物聯(lián)網(wǎng)傳感器等)上進(jìn)行處
    的頭像 發(fā)表于 05-31 14:19 ?562次閱讀

    邊緣計(jì)算單元多接入能力怎么

    邊緣計(jì)算作為一種分布式計(jì)算模式,其多接入能力是評(píng)估其性能和擴(kuò)展性的重要指標(biāo)之一。在實(shí)際應(yīng)用中,我們需要考慮多個(gè)因素來計(jì)算邊緣
    的頭像 發(fā)表于 05-16 17:51 ?260次閱讀

    為什么需要邊緣計(jì)算

    邊緣計(jì)算是指在網(wǎng)絡(luò)邊緣執(zhí)行計(jì)算的一種新型計(jì)算模型,邊緣計(jì)算
    發(fā)表于 02-28 14:20 ?467次閱讀
    為什么需要<b class='flag-5'>邊緣</b><b class='flag-5'>計(jì)算</b>

    邊緣計(jì)算網(wǎng)關(guān)與邊緣計(jì)算的融合之道

    隨著物聯(lián)網(wǎng)、大數(shù)據(jù)和人工智能的飛速發(fā)展,數(shù)據(jù)處理和分析的需求呈現(xiàn)出爆炸式增長。傳統(tǒng)的中心化數(shù)據(jù)處理模式已難以滿足實(shí)時(shí)性、低延遲和高帶寬的需求邊緣計(jì)算應(yīng)運(yùn)而生,成為解決這一難題的關(guān)鍵技
    的頭像 發(fā)表于 02-26 16:29 ?391次閱讀
    <b class='flag-5'>邊緣</b><b class='flag-5'>計(jì)算</b>網(wǎng)關(guān)與<b class='flag-5'>邊緣</b><b class='flag-5'>計(jì)算</b>的融合之道

    EASY-EAI攜手Hailo推出高性能、高邊緣AI硬件組合

    EASY-EAI與Hailo建立合作關(guān)系,共同推出高邊緣AI產(chǎn)品組合。
    的頭像 發(fā)表于 02-21 09:56 ?689次閱讀

    什么是邊緣計(jì)算,邊緣計(jì)算有哪些應(yīng)用?

    什么是邊緣計(jì)算,邊緣計(jì)算有哪些應(yīng)用? 邊緣計(jì)算是一種將計(jì)算
    的頭像 發(fā)表于 01-09 11:29 ?1491次閱讀

    邊緣計(jì)算邊緣智能計(jì)算區(qū)別

    邊緣計(jì)算邊緣智能計(jì)算是兩個(gè)相關(guān)但不同的概念。邊緣計(jì)算指的是數(shù)據(jù)處理和存儲(chǔ)在靠近數(shù)據(jù)源的
    的頭像 發(fā)表于 12-27 15:28 ?928次閱讀

    邊緣計(jì)算平臺(tái)是什么配置的

    邊緣計(jì)算平臺(tái)是一個(gè)分布式計(jì)算架構(gòu),可以在靠近數(shù)據(jù)源的邊緣設(shè)備上執(zhí)行計(jì)算任務(wù)。它解決了傳統(tǒng)計(jì)算模式
    的頭像 發(fā)表于 12-27 15:23 ?798次閱讀

    邊緣計(jì)算框架有哪些

    應(yīng)用的需求邊緣計(jì)算架構(gòu)的出現(xiàn),為各種行業(yè)提供了更高效、更靈活的計(jì)算和數(shù)據(jù)處理方式,有助于推動(dòng)數(shù)字化轉(zhuǎn)型和智能化發(fā)展。本文將詳盡介紹邊緣
    的頭像 發(fā)表于 12-27 15:01 ?1244次閱讀

    研華攜手Hailo,擴(kuò)展高邊緣 AI 產(chǎn)品組合

    ??????????? 2023 年, AIoT 平臺(tái)與服務(wù)供應(yīng)商研華科技宣布與 AI 芯片先驅(qū)廠商 Hailo 建立新的戰(zhàn)略合作伙伴關(guān)系,共同拓展高邊緣 AI 產(chǎn)品組合。通過此次合作,研華將
    發(fā)表于 12-12 13:56 ?241次閱讀
    研華攜手Hailo,擴(kuò)展高<b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>邊緣</b> AI 產(chǎn)品組合

    遠(yuǎn)景達(dá)AI邊緣盒子,智慧場(chǎng)景中的“絕佳助手”

    ,從而更好地滿足設(shè)備的實(shí)時(shí)性需求,同時(shí)也能夠提升設(shè)備的智能化能力,更好地實(shí)現(xiàn)設(shè)備間的協(xié)同工作。遠(yuǎn)景達(dá)AI邊緣盒子作為一種先進(jìn)的工具,已被廣泛應(yīng)用于園區(qū)、社區(qū)、工地
    的頭像 發(fā)表于 12-05 15:33 ?521次閱讀
    遠(yuǎn)景達(dá)AI<b class='flag-5'>邊緣</b><b class='flag-5'>算</b><b class='flag-5'>力</b>盒子,智慧場(chǎng)景中的“絕佳助手”

    強(qiáng)勁的AI邊緣計(jì)算盒子# 邊緣計(jì)算

    AI邊緣計(jì)算
    成都華江信息
    發(fā)布于 :2023年11月24日 16:31:06

    驅(qū)動(dòng)云/邊緣側(cè)建設(shè)的高性能互聯(lián)接口方案

    驅(qū)動(dòng)云/邊緣側(cè)建設(shè)的高性能互聯(lián)接口方案
    的頭像 發(fā)表于 11-23 16:30 ?463次閱讀
    驅(qū)動(dòng)云/<b class='flag-5'>邊緣</b>側(cè)<b class='flag-5'>算</b><b class='flag-5'>力</b>建設(shè)的高性能互聯(lián)接口方案

    什么是邊緣計(jì)算盒子(AI算法盒子)?

    高效的數(shù)據(jù)處理和實(shí)時(shí)響應(yīng)。以下是關(guān)于邊緣計(jì)算盒子的介紹:一、什么是邊緣計(jì)算盒子?邊緣計(jì)算盒子是一
    的頭像 發(fā)表于 10-31 14:29 ?2433次閱讀
    什么是<b class='flag-5'>邊緣</b><b class='flag-5'>計(jì)算</b>盒子(AI算法盒子)?