向量擴(kuò)展將定稿，RISC-V機(jī)器學(xué)習(xí)的崛起

向量擴(kuò)展將定稿，RISC-V機(jī)器學(xué)習(xí)的崛起

RISC-V作為一個(gè)與x86和Arm相比仍算年輕的架構(gòu)，自然需要不少擴(kuò)展模塊來完善其指令集架構(gòu)，尤其是對(duì)標(biāo)x86與Arm的SIMD指令集。然而SIMD指令集隨著時(shí)間的發(fā)展變得越來越臃腫，讓架構(gòu)變得愈發(fā)復(fù)雜，David Patterson也在幾年前的一篇文章中寫道，實(shí)現(xiàn)數(shù)據(jù)級(jí)并行性更優(yōu)雅的方式就是向量架構(gòu)，RISC-V的向量擴(kuò)展（RVV）也應(yīng)運(yùn)而生。

在機(jī)器學(xué)習(xí)算法中，向量被廣泛用于處理數(shù)據(jù)集和數(shù)組。而RVV為基礎(chǔ)指令集新增了多個(gè)向量寄存器和向量指令，可以讓基于RISC-V架構(gòu)的處理器核心處理數(shù)組，與傳統(tǒng)的標(biāo)量運(yùn)算一起來加速大數(shù)據(jù)集的指令運(yùn)算。

RISC-V向量擴(kuò)展指令于2018年推出，在經(jīng)過了多個(gè)版本的迭代后，終于在幾天前進(jìn)入了1.0 PB狀態(tài)。RVV工作組認(rèn)同了1.0版本的穩(wěn)定性，已經(jīng)可以在上游軟件項(xiàng)目中開發(fā)相關(guān)的工具鏈、功能模擬器與實(shí)現(xiàn)了。而前段時(shí)間的RISC-V論壇，也展示了RISC-V在向量與機(jī)器學(xué)習(xí)上的進(jìn)展。

RISC-V機(jī)器學(xué)習(xí)用于太空應(yīng)用

相信不少人都注意到近期逐漸增加的各項(xiàng)太空探索任務(wù)，比如祝融號(hào)火星車與中國(guó)空間站建設(shè)等，這些任務(wù)中AI與機(jī)器學(xué)習(xí)的應(yīng)用也開始出現(xiàn)。然而將AI與機(jī)器學(xué)習(xí)加入太空任務(wù)依舊面臨著諸多挑戰(zhàn)，比如已有的太空處理器已經(jīng)無法跟上AI與ML的計(jì)算需求，但現(xiàn)成的商用設(shè)備既無法滿足輻射要求，也沒有太空認(rèn)證的軟件棧支持。

來自加泰羅尼亞理工大學(xué)和巴塞羅那超算中心的兩位研究員Leonidas Kosmidis和Marc Solé Bonet給出了他們的創(chuàng)新方案，實(shí)現(xiàn)了在功率有限的RISC-V處理器上加速M(fèi)L運(yùn)算。與采用額外大面積向量寄存器文件的傳統(tǒng)方式不同，他們采用了一個(gè)開源的短SIMD模塊通過重復(fù)利用整數(shù)寄存器文件來減小面積。這一方案以2個(gè)未使用的RISC-V操作碼實(shí)現(xiàn)了17個(gè)高度可配置的定制指令，可以用于實(shí)現(xiàn)ML應(yīng)用中200多種組合運(yùn)算。

他們成功將該模塊移植到了Cobham Gaisler開發(fā)的開源RISC-V太空處理器NOEL-V上，在最小的NOEL-V處理器的配置下進(jìn)行通用ML程序的測(cè)試，得出的結(jié)果相當(dāng)可觀。只需多用到25%的面積，就能實(shí)現(xiàn)3到7倍的性能提升，還不會(huì)影響到處理器的頻率。

兩位研究員也實(shí)現(xiàn)了Gaisler另一個(gè)太空處理器LEON3的版本，該處理器采用的是SPARC V8的架構(gòu)。未來他們還計(jì)劃引入TensorFlow和編譯器代碼生成等一系列軟件支持，并在歐洲航天局OPS-SAT實(shí)驗(yàn)衛(wèi)星上的FPGA上進(jìn)行測(cè)試。

RISC-V向量處理器的真正挑戰(zhàn)

90年代可以說是DSP、CISC與DSP三家爭(zhēng)霸的狀態(tài)，然而到了21世紀(jì)，DSP已經(jīng)越來越難突破GHz，而高頻CPU中乘積累加運(yùn)算單元的流行使得DSP在性能上敗下陣來。而RISC與CISC相比的優(yōu)勢(shì)在于其簡(jiǎn)單化的特性，更容易實(shí)現(xiàn)高頻率。然而在向量處理器（VPU）上，必須要解決數(shù)據(jù)傳輸?shù)膯栴}。

傳統(tǒng)VPU在帶寬上的瓶頸 / 晶心科技

從數(shù)據(jù)傳輸?shù)牧鞒虂砜矗到y(tǒng)總線已經(jīng)被處理器占用處于繁忙狀態(tài)，而所有數(shù)據(jù)都通過緩存走向總線，現(xiàn)在又多出了向量指令和向量數(shù)據(jù)，致使總線到內(nèi)存的延遲增加，整體性能下降。因此，提高總線帶寬的同時(shí)保持高頻率，又不會(huì)增加額外的功耗也就成了一大設(shè)計(jì)挑戰(zhàn)。傳統(tǒng)的解決方案有預(yù)讀取和更大的獨(dú)立內(nèi)存與緩存等，但往往需要犧牲功耗和尺寸。

晶心科技為了解決這一挑戰(zhàn)，推出了晶心自定義擴(kuò)展（Andes Custom Extension，ACE），這一RISC-V擴(kuò)展可以創(chuàng)造新的指令、新的協(xié)處理器和新的內(nèi)存位置。ACE引入了全新的Streaming Port，為外部硬件引擎創(chuàng)造了自定義數(shù)據(jù)接口和自定義數(shù)據(jù)內(nèi)存，以很小的功率代價(jià)解決了數(shù)據(jù)傳輸問題。除此之外，ACE還可以用于數(shù)據(jù)預(yù)處理與后處理，比如格式轉(zhuǎn)換等，進(jìn)一步提升VPU的性能，更好地控制和管理外部加速器。

結(jié)語

RISC-V在向量擴(kuò)展與處理器上的進(jìn)展已經(jīng)相當(dāng)驚人，要知道蘋果在前段時(shí)間招募RISC-V開發(fā)者的工作描述中，不僅要求掌握RISC-V的開發(fā)知識(shí)，還要求了解Arm NEON SIMD微架構(gòu)的向量編程。隨著RVV的定稿，向量寄存器與指令也將全部確定下來，屆時(shí)相關(guān)的編譯器等工具鏈也能夠及時(shí)做到兼容。