0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

類ChatGPT訓(xùn)練需高性能芯片大規(guī)模并聯(lián),高速接口IP迎紅利時(shí)代

Felix分析 ? 來(lái)源:電子發(fā)燒友網(wǎng) ? 作者:吳子鵬 ? 2023-03-06 09:18 ? 次閱讀

電子發(fā)燒友網(wǎng)報(bào)道(文/吳子鵬)近段時(shí)間,ChatGPT的火熱重新掀起人工智能產(chǎn)業(yè)熱潮,尤其是AIGC(指利用人工智能技術(shù)來(lái)生成內(nèi)容)領(lǐng)域,已經(jīng)進(jìn)入到狂飆姿態(tài),頭部科技企業(yè)爭(zhēng)分奪秒地尋求搶先發(fā)布類ChatGPT應(yīng)用。

眾所周知,類ChatGPT應(yīng)用是一個(gè)吞金獸,微軟公司為了訓(xùn)練ChatGPT使用了1萬(wàn)張英偉達(dá)的高端GPU?!皬挠?xùn)練的角度來(lái)看,計(jì)算性能再好的GPU芯片比如A100如果無(wú)法集群在一起去訓(xùn)練,那么訓(xùn)練一個(gè)類ChatGPT的大模型可能需要上百年。因此,AI大模型的訓(xùn)練對(duì)高速接口IP是一個(gè)巨大的挑戰(zhàn),也是一個(gè)巨大的機(jī)遇。”奎芯科技市場(chǎng)及戰(zhàn)略副總裁唐睿在接受電子發(fā)燒友網(wǎng)采訪時(shí)表示。

奎芯科技成立于2021年,該公司的口號(hào)是“芯粒高速互聯(lián),海量算力源泉 ”。目前,奎芯科技已經(jīng)推出的高速接口IP組合包括USB、PCIe、SATA、SerDes、MIPIDDR、HDMI、DP、HBM等豐富的類型。

類ChatGPT帶動(dòng)接口IP發(fā)展

半導(dǎo)體產(chǎn)業(yè)分布來(lái)看,IP是底層技術(shù),接口IP同樣如此,因此關(guān)鍵性和重要性是不言而喻的。那么在AIGC產(chǎn)業(yè)里,接口IP能夠發(fā)揮哪些作用呢?唐睿提到了以下幾點(diǎn)。

首先是芯片上的互聯(lián)接口,也就是Die to Die類型的互聯(lián)接口IP,包括UCIe等,用以擴(kuò)充單芯片的計(jì)算能力;其次是Chip to Chip類型的互聯(lián)接口IP,包括SerDes/PCIe/CXL等,能夠加快芯片之間的互聯(lián)和數(shù)據(jù)交換,滿足更高帶寬的需求;此外還有內(nèi)存接口IP,包括SATA、DDR、HBM等,能夠用于打造更高性能的存儲(chǔ)產(chǎn)品,幫助類ChatGPT存儲(chǔ)和交換大規(guī)模的數(shù)據(jù);再上一層就是數(shù)據(jù)通訊接口的接口IP。因此,從訓(xùn)練的角度來(lái)看,類ChatGPT應(yīng)用的爆發(fā),能夠帶來(lái)非常大的接口IP需求。

在此前的預(yù)測(cè)里,有市場(chǎng)調(diào)研機(jī)構(gòu)的數(shù)據(jù)顯示,2022年至2026年高速互聯(lián)IP的市場(chǎng)規(guī)模有望以75%的年復(fù)合增長(zhǎng)率快速成長(zhǎng)?!敖涌贗P市場(chǎng)的增長(zhǎng)一定是跟隨整個(gè)高性能計(jì)算芯片大趨勢(shì)的,包括芯片運(yùn)算性能、內(nèi)存和帶寬方面的提升都需要接口IP的幫助,因此芯片用量的提升一定會(huì)帶來(lái)更大的接口IP用量。”唐睿認(rèn)為,“同時(shí)計(jì)算芯片性能的提升已經(jīng)受限于摩爾定律放緩的影響,單芯片的性能會(huì)逐漸遇到瓶頸,那么互聯(lián)組成算力集群就是一個(gè)有效的手段,這也會(huì)加快推動(dòng)接口IP的發(fā)展?!?/p>

雖然產(chǎn)業(yè)熱潮來(lái)臨,不過唐睿并不擔(dān)心一下子會(huì)涌入很多同行或者友商,造成國(guó)內(nèi)接口IP產(chǎn)業(yè)內(nèi)卷?!笆袌?chǎng)競(jìng)爭(zhēng)的激烈程度會(huì)增加,但接口IP是高門檻的領(lǐng)域,目前國(guó)內(nèi)做高速混合電路的人才其實(shí)并不多,特別是在先進(jìn)制程上做高速模擬電路設(shè)計(jì)的人才更少,因此從零組建團(tuán)隊(duì)進(jìn)入這個(gè)領(lǐng)域是非常困難的?!彼麑?duì)此講到。

國(guó)產(chǎn)廠商的布局和追趕

從全球產(chǎn)業(yè)格局來(lái)看,在接口IP方面,目前新思科技和楷登電子等EDA廠商以及其他國(guó)際上的接口IP廠商還處于領(lǐng)先位置。相關(guān)數(shù)據(jù)顯示,截止到2021年,國(guó)產(chǎn)接口IP的自給率還不足10%。

“目前,從技術(shù)上來(lái)看,國(guó)產(chǎn)接口IP廠商確實(shí)還處于追趕的位置,不過這種差距已經(jīng)越來(lái)越小。”唐睿指出,“2023年,奎芯科技將會(huì)推出一系列性能達(dá)到國(guó)際領(lǐng)先水平的接口IP產(chǎn)品,包括HBM3以及其他領(lǐng)先的D2D類型的互聯(lián)接口IP。”

同時(shí),他還講到,在服務(wù)國(guó)內(nèi)客戶方面,實(shí)際上也會(huì)存在很多本地化的需求,需要根據(jù)這些需求結(jié)合晶圓廠的工藝特色,提供IP解決方案??究萍己芏郔P產(chǎn)品,在研發(fā)的過程中或者研發(fā)之前,就得到了客戶方的問詢,圍繞客戶的芯片架構(gòu),有非常清晰的需求??究萍悸?lián)合自己的下游客戶成立了多個(gè)產(chǎn)業(yè)聯(lián)盟,通過這些聯(lián)盟將不同類型的計(jì)算芯片公司聯(lián)合在一起,協(xié)同發(fā)展,圍繞數(shù)據(jù)中心應(yīng)用把國(guó)產(chǎn)方案搭建好,彌補(bǔ)國(guó)內(nèi)這一塊的空白。

當(dāng)前,AI大模型訓(xùn)練所用到的算力集群基本上都是基于英偉達(dá)通用算力芯片來(lái)打造,在這方面國(guó)產(chǎn)通用算力芯片還存在一定的性能差距。唐睿表示,國(guó)產(chǎn)高性能計(jì)算芯片還是有機(jī)會(huì)的,AI大模型并不是一個(gè)近期出現(xiàn)的新鮮事物,近些年國(guó)內(nèi)AI產(chǎn)業(yè)已經(jīng)在跟進(jìn)這一趨勢(shì),只是類ChatGPT類型應(yīng)用背后的大模型參數(shù)規(guī)模更大。針對(duì)這方面的需求,國(guó)內(nèi)芯片產(chǎn)業(yè)也早就啟動(dòng)了這方面的布局,包括奎芯科技所在的接口IP賽道,都在向這個(gè)方向努力。不過,從IP研發(fā)到芯片設(shè)計(jì),再到應(yīng)用落地,這中間會(huì)有一個(gè)時(shí)間差。實(shí)際上,國(guó)外的公司也是在用之前的芯片通過互聯(lián)在做這方面的硬件支持。

“還需要特別提出的是,AIGC是一個(gè)軟硬件結(jié)合的應(yīng)用。軟件方面,算法模型的體量也是一個(gè)值得研究去突破的方向。目前,國(guó)外開源的AIGC算法里,也并非只有Open AI的GPT算法,通過介紹信息來(lái)看,也有一些參數(shù)更小的模型能夠?qū)崿F(xiàn)類ChatGPT應(yīng)用。我們實(shí)際上可以借鑒這些模型,以減少軟件對(duì)硬件的需求壓力?!碧祁W詈笾v到。

小結(jié)

IP對(duì)半導(dǎo)體產(chǎn)業(yè)有巨大的撬動(dòng)力量,在全球范圍內(nèi),約60多億美元的IP銷售額,帶動(dòng)的是5000億美元的全球半導(dǎo)體市場(chǎng)銷售額。對(duì)于***而言,短期內(nèi)實(shí)現(xiàn)單芯片性能暴增的難度非常大,不過通過高速接口IP,用算力集群的方式,也能夠逐步進(jìn)入類ChatGPT的紅利市場(chǎng)。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 芯片
    +關(guān)注

    關(guān)注

    452

    文章

    50056

    瀏覽量

    419951
  • IP
    IP
    +關(guān)注

    關(guān)注

    5

    文章

    1586

    瀏覽量

    149172
  • ChatGPT
    +關(guān)注

    關(guān)注

    29

    文章

    1536

    瀏覽量

    7291
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    端到端InfiniBand網(wǎng)絡(luò)解決LLM訓(xùn)練瓶頸

    ChatGPT對(duì)技術(shù)的影響引發(fā)了對(duì)人工智能未來(lái)的預(yù)測(cè),尤其是多模態(tài)技術(shù)的關(guān)注。OpenAI推出了具有突破性的多模態(tài)模型GPT-4,使各個(gè)領(lǐng)域取得了顯著的發(fā)展。 這些AI進(jìn)步是通過大規(guī)模模型訓(xùn)練實(shí)現(xiàn)
    的頭像 發(fā)表于 10-23 11:26 ?141次閱讀
    端到端InfiniBand網(wǎng)絡(luò)解決LLM<b class='flag-5'>訓(xùn)練</b>瓶頸

    芯品# 高性能計(jì)算芯片

    Arm Neoverse基于CSS的CPU芯片組具有超高速接口和高級(jí)封裝,可為AI,HPC和網(wǎng)絡(luò)基礎(chǔ)設(shè)施提供可擴(kuò)展的性能 英國(guó)倫敦和加拿大多倫多-2024年6月6日- Alphawav
    的頭像 發(fā)表于 06-27 10:28 ?6878次閱讀

    開芯院發(fā)布全球首個(gè)開源大規(guī)模片上互聯(lián)網(wǎng)絡(luò)IP“溫榆河”

    2024年5月21日,北京開源芯片研究院(簡(jiǎn)稱“開芯院”)通過線上會(huì)議的方式,向會(huì)員單位正式發(fā)布了全球首個(gè)開源大規(guī)模片上互聯(lián)網(wǎng)絡(luò)(NetworkonChip,NoC)IP——研發(fā)代號(hào)“溫榆河”。這一
    的頭像 發(fā)表于 06-04 08:37 ?11.7w次閱讀
    開芯院發(fā)布全球首個(gè)開源<b class='flag-5'>大規(guī)模</b>片上互聯(lián)網(wǎng)絡(luò)<b class='flag-5'>IP</b>“溫榆河”

    高性能計(jì)算集群的能耗優(yōu)化

    高性能計(jì)算(HighPerformanceComputing,HPC)是指利用大規(guī)模并行計(jì)算機(jī)集群來(lái)解決復(fù)雜的科學(xué)和工程問題的技術(shù)。高性能計(jì)算集群的應(yīng)用領(lǐng)域非常廣泛,包括天氣預(yù)報(bào)、生物信息學(xué)
    的頭像 發(fā)表于 05-25 08:27 ?297次閱讀
    <b class='flag-5'>高性能</b>計(jì)算集群的能耗優(yōu)化

    進(jìn)一步解讀英偉達(dá) Blackwell 架構(gòu)、NVlink及GB200 超級(jí)芯片

    GB200 超級(jí)芯片模塊組合而成,通過 Nvlink 鏈接,提供了超大規(guī)模的并行計(jì)算能力和極高的內(nèi)存帶寬,適用于大規(guī)模的 AI 訓(xùn)練、推理和高性能
    發(fā)表于 05-13 17:16

    構(gòu)建高性能計(jì)算芯片

    計(jì)算的異構(gòu)多核架構(gòu),對(duì)整個(gè)芯片行業(yè)的高性能 CPU 開發(fā)產(chǎn)生了影響。 這些芯片都不太可能進(jìn)行商業(yè)銷售。它們針對(duì)特定的數(shù)據(jù)類型和工作負(fù)載進(jìn)行了優(yōu)化,設(shè)計(jì)預(yù)算龐大,但可以通過提高性能和降低
    的頭像 發(fā)表于 04-25 10:23 ?1256次閱讀
    構(gòu)建<b class='flag-5'>高性能</b>計(jì)算<b class='flag-5'>芯片</b>

    名單公布!【書籍評(píng)測(cè)活動(dòng)NO.30】大規(guī)模語(yǔ)言模型:從理論到實(shí)踐

    和強(qiáng)化學(xué)習(xí)展開,詳細(xì)介紹各階段使用的算法、數(shù)據(jù)、難點(diǎn)及實(shí)踐經(jīng)驗(yàn)。 預(yù)訓(xùn)練階段需要利用包含數(shù)千億甚至數(shù)萬(wàn)億單詞的訓(xùn)練數(shù)據(jù),并借助由數(shù)千塊高性能GPU 和高速網(wǎng)絡(luò)組成的超級(jí)計(jì)算機(jī),花費(fèi)數(shù)十
    發(fā)表于 03-11 15:16

    Xilinx FPGA NVMe主機(jī)控制器IP,高性能版本介紹應(yīng)用

    獨(dú)立的數(shù)據(jù)寫入AXI4-Stream/FIFO接口和數(shù)據(jù)讀取AXI4-Stream/FIFO接口,非常適合于超高容量和超高性能的應(yīng)用。此外,NVMe Host Controller IP
    發(fā)表于 03-09 13:56

    晶晟微納發(fā)布N800超大規(guī)模AI算力芯片測(cè)試探針卡

    近日,上海韜盛科技旗下的蘇州晶晟微納宣布推出其最新研發(fā)的N800超大規(guī)模AI算力芯片測(cè)試探針卡。這款高性能探針卡采用了前沿的嵌入式合金納米堆疊技術(shù),旨在滿足當(dāng)前超大規(guī)模AI算力
    的頭像 發(fā)表于 03-04 13:59 ?832次閱讀

    NVMe Host Controller IP實(shí)現(xiàn)高性能存儲(chǔ)解決方案

    電子發(fā)燒友網(wǎng)站提供《NVMe Host Controller IP實(shí)現(xiàn)高性能存儲(chǔ)解決方案.pdf》資料免費(fèi)下載
    發(fā)表于 02-21 14:28 ?1次下載

    【國(guó)產(chǎn)FPGA+OMAPL138開發(fā)板體驗(yàn)】(原創(chuàng))6.FPGA連接ChatGPT 4

    方面。而且,由于ChatGPT 4是一個(gè)大型的語(yǔ)言模型。通常,F(xiàn)PGA會(huì)用于處理一些底層的數(shù)據(jù)流或執(zhí)行特定的硬件加速任務(wù),而ChatGPT 4這樣的模型則會(huì)在云端或高性能服務(wù)器上運(yùn)行。不過
    發(fā)表于 02-14 21:58

    對(duì)話國(guó)產(chǎn)EDA和IP廠商,如何攻克大規(guī)模數(shù)字電路設(shè)計(jì)挑戰(zhàn)?

    芯片設(shè)計(jì)企業(yè)關(guān)注的焦點(diǎn)。作為芯片產(chǎn)業(yè)的根技術(shù)和硬科技,EDA和IP大規(guī)模數(shù)字電路設(shè)計(jì)中發(fā)揮著不可替代的作用,也是集成電路技術(shù)發(fā)展的重要助推器。其運(yùn)用的好壞,決定著
    的頭像 發(fā)表于 12-28 08:23 ?1112次閱讀
    對(duì)話國(guó)產(chǎn)EDA和<b class='flag-5'>IP</b>廠商,如何攻克<b class='flag-5'>大規(guī)模</b>數(shù)字電路設(shè)計(jì)挑戰(zhàn)?

    態(tài)路小課堂丨InfiniBand與以太網(wǎng):AI時(shí)代的網(wǎng)絡(luò)差異

    今年以來(lái),InfiniBand因其在AI領(lǐng)域中的應(yīng)用而備受矚目。 InfiniBand介紹 InfiniBand (也稱為“無(wú)限帶寬”,縮寫為IB)是一種高速網(wǎng)絡(luò)技術(shù),具有高性能、低延遲、可靠和靈活的數(shù)據(jù)傳輸功能,適用于要求高速
    的頭像 發(fā)表于 11-29 18:16 ?815次閱讀
    態(tài)路小課堂丨InfiniBand與以太網(wǎng):AI<b class='flag-5'>時(shí)代</b>的網(wǎng)絡(luò)差異

    國(guó)內(nèi)企業(yè)用SD-WAN加速訪問ChatGPT

    。 1.ChatGPT概述 ChatGPT是一種基于大規(guī)模預(yù)訓(xùn)練技術(shù)的對(duì)話生成模型。它采用Transformer網(wǎng)絡(luò)架構(gòu),在海量文本數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練
    的頭像 發(fā)表于 11-15 11:23 ?477次閱讀

    NVIDIA Merlin 助力陌陌推薦業(yè)務(wù)實(shí)現(xiàn)高性能訓(xùn)練優(yōu)化

    通過 Merlin 大幅提升大規(guī)模深度多目標(biāo)精排模型訓(xùn)練性能 本案例中,NVIDIA 團(tuán)隊(duì)與陌陌推薦系統(tǒng)團(tuán)隊(duì)深度合作,共同使用 NVIDIA GPU 和 Merlin 軟件解決方案替代其原有
    的頭像 發(fā)表于 11-09 10:45 ?308次閱讀
    NVIDIA Merlin 助力陌陌推薦業(yè)務(wù)實(shí)現(xiàn)<b class='flag-5'>高性能</b><b class='flag-5'>訓(xùn)練</b>優(yōu)化