解鎖RISC-V技術(shù)力量丨曹英杰：RISC-V與大模型探索

4月12日，第二期“大家來談芯|解鎖RISC-V技術(shù)力量”在上海臨港新片區(qū)頂科永久會址舉辦，本期沙龍聚焦RISC-V技術(shù)，圍繞AI時代的RISC-V市場機(jī)會、RISC-V在汽車領(lǐng)域的應(yīng)用進(jìn)展與EDA助力RISC-V開發(fā)等話題，多位業(yè)內(nèi)嘉賓發(fā)表了主旨演講。

會上，時擎科技高級技術(shù)總監(jiān)曹英杰以“RISC-V與大模型探索”為題，將大模型作為切入點(diǎn)，探討了RISC-V在大模型應(yīng)用中的可能。

時擎科技高級技術(shù)總監(jiān) 曹英杰

時擎科技是國內(nèi)最早投入RISC-V處理器研發(fā)的團(tuán)隊(duì)之一，18年初就啟動了RISC-V處理器內(nèi)核的自研，也一直積極參與RISC-V相關(guān)的生態(tài)建設(shè)，是RISC-V國際基金會成員，也是中國RISC-V產(chǎn)業(yè)聯(lián)盟的副理事長單位。

曹英杰表示，大模型已經(jīng)跨過AIGC的“iPhone”時刻，其輕量化分支已經(jīng)出現(xiàn)，而端側(cè)部署將成為新的趨勢，這就給RISC-V帶來了機(jī)會。

四個原因驅(qū)使企業(yè)愿意在RISC-V在大模型硬件應(yīng)用上投入資源。從市場空間來看，AIGC的爆發(fā)不可阻擋，市場空間巨大，哪怕只“分一杯羹”，都足以支持重新開發(fā)基于RISC-V內(nèi)核的大模型硬件；

從技術(shù)走勢來看，大模型推理正在下沉到端側(cè)，Nvidia在端側(cè)的統(tǒng)治力并不強(qiáng)大，而RISC-V的特點(diǎn)也更適合端側(cè)；

從市場格局來看，Nvidia在大模型硬件上形成了實(shí)施壟斷，天下苦Nvidia久矣，各大廠和創(chuàng)業(yè)公司都在推出基于RISC-V技術(shù)的自研AI芯片；

從國家支持來看，在GPU被斷供的背景下，擁有大量社區(qū)資源、生態(tài)逐步成型的RISC-V是進(jìn)行替代的最優(yōu)解。

曹英杰舉了兩個例子，一個是前面提到過的Meta的MTIA，另一個是Tenstorrent的方案，由Tensix Core組成PE陣列，目標(biāo)是將數(shù)據(jù)中心變成一個全聯(lián)通的PE計(jì)算資源池，跨PE、跨芯片、跨板卡計(jì)算對用戶透明，提高大模型SIMD/MIMD場景下的資源利用。

時擎科技基于RISC-V的處理器系列有三類，即TM主控處理器、TD系列DSP/向量處理器，以及TimesFormer DSA智能處理器。針對大模型加速的方案，主要是其TimesFormer DSA智能處理器方案。

TimesFormer是時擎科技自主設(shè)計(jì)的可適應(yīng)未來3到5年端側(cè)智能計(jì)算需求的DSA計(jì)算架構(gòu)，具有高能效比、高性價比、可伸縮、可擴(kuò)展等特點(diǎn)，還容易上手。

目前，時擎科技可以提供AI算法、部署工具和處理器三位一體的方案，TimesFormer高度靈活可擴(kuò)展的架構(gòu)，能快速升級支持大模型。預(yù)計(jì)2024年三季度發(fā)布的TF3.0，將提供針對注意力機(jī)制優(yōu)化的新PE，針對大模型升級數(shù)據(jù)流控制器及配套工具鏈/軟件棧，增加Packet Engine, 可以作大模型AI芯片中的PE計(jì)算節(jié)點(diǎn)。