攜手生態(tài)伙伴，Imagination GPU助力邊緣生成式AI

9月10日，奕斯偉計(jì)算開(kāi)發(fā)者伙伴大會(huì)在北京亦莊舉辦。大會(huì)以“綠色、開(kāi)放、融合”為主題，匯聚了EICT領(lǐng)域的專(zhuān)家、學(xué)者等重磅嘉賓，共同探討AI時(shí)代背景下RISC-V的發(fā)展機(jī)遇。Imagination作為重要生態(tài)合作伙伴受邀出席活動(dòng)，與奕斯偉等業(yè)界伙伴攜手加速RISC-V在各行各業(yè)的深度融合和應(yīng)用落地。

活動(dòng)現(xiàn)場(chǎng)，Imagination產(chǎn)品管理高級(jí)總監(jiān)Stephen Barton從芯片IP的角度，分享了Imagination 如何通過(guò)RSIC-V和PowerVR助力邊緣生成式AI的發(fā)展。

首先，他表示，深度學(xué)習(xí)已成為推動(dòng)大型計(jì)算機(jī)工作的有效方法，這一點(diǎn)在傳統(tǒng)的高性能計(jì)算方法中是無(wú)法實(shí)現(xiàn)的。而邊緣設(shè)備并非大型計(jì)算機(jī)，未來(lái)AI在小型計(jì)算機(jī)上將如何發(fā)展？對(duì)此，他探討了兩種方式，一是通過(guò)更大的計(jì)算機(jī)、晶體管調(diào)度、芯粒（chiplet）堆疊、減少數(shù)值方法等提升計(jì)算性能。另一種是確保計(jì)算可以輕松擴(kuò)展，并且是通用的。RISC-V則是很好的示例，作為一個(gè)不斷發(fā)展的開(kāi)放標(biāo)準(zhǔn)，專(zhuān)注于RISC-V解決方案可以讓你充分利用系統(tǒng)的潛力。同時(shí)，CPU是通用的，可以用于多種場(chǎng)景。

在邊緣端，功耗、帶寬等資源受限，更需要確保邊緣計(jì)算的高效擴(kuò)展。當(dāng)運(yùn)行生成式AI推理時(shí)，可能專(zhuān)注于峰值TOPS和帶寬，游戲也可能會(huì)占用大量的GPU資源，同時(shí)還可能有一些加密操作占用了大量CPU時(shí)間。為了保證通用性運(yùn)行工作負(fù)載，并減少系統(tǒng)的核數(shù)量，可以通過(guò)NPU犧牲一些靈活性以實(shí)現(xiàn)高性能；也可以通過(guò)GPU犧牲一些芯片面積來(lái)獲得更好的PPA并擴(kuò)展加速能力。

與此同時(shí)，RISC-V在邊緣計(jì)算中也發(fā)揮著重要作用。Stephen講到，向量引擎和向量擴(kuò)展已成為標(biāo)準(zhǔn)的一部分。當(dāng)涉及到機(jī)器學(xué)習(xí)工作負(fù)載時(shí)，RISC-V具有很大的靈活性，不需要API可直接使用。同時(shí)AI領(lǐng)域中RISC-V具有最低的面積開(kāi)銷(xiāo)，等等。

最后，Stephen特別提及到Imagination與奕斯偉、SiFive的合作——奕斯偉EIC77系列，涵蓋單Die RISC-V邊緣計(jì)算芯片EIC7700及更高算力版本EIC7700X，雙 Die RISC-V AI PC 芯片 EIC7702 及更高算力版本 EIC7702X。該系列中的圖形和計(jì)算加速功能由Imagination的GPU IP、SiFive的CPU IP，以及奕斯偉計(jì)算的專(zhuān)有神經(jīng)網(wǎng)絡(luò)單元NPU無(wú)縫集成而成，可為從機(jī)器視覺(jué)應(yīng)用（如行為識(shí)別和人臉識(shí)別）到大型語(yǔ)言模型等各種邊緣計(jì)算應(yīng)用提供出色的性能。同時(shí) Stephen 表示將全力支持奕斯偉提出并倡導(dǎo)的 RDI 生態(tài)系統(tǒng)建設(shè)。

未來(lái)Imaginaiton期待與更多伙伴合作，在邊緣計(jì)算、AI PC和AI加速等領(lǐng)域打造更多高性能產(chǎn)品，共同推動(dòng)RISC—V數(shù)字基礎(chǔ)設(shè)施生態(tài)創(chuàng)新和產(chǎn)業(yè)發(fā)展。