RISC-V跑大模型（一）

在我寫本文時，剛好是WAIC 2023舉行的時候，感覺無處不是大模型。

所以，RISC-V怎么能不刷刷大模型呢？廢話不多說，先上圖：



去年，ChatGPT的出現(xiàn)震驚了全世界，在短短幾個月的時間內(nèi)，ChatGPT的月活躍用戶達到了1億。ChatGPT的成功讓許多人第一次知道了大語言模型（Large Language Model）的概念，而今年Meta發(fā)布的LLaMA則在ChatGPT的基礎上又往前跨了一大步，它大大降低了LLM的使用難度，讓LLM真正“走進基層”。那LLaMA是什么呢？

1. LLaMA介紹

在介紹LLaMA之前，首先要介紹一下LLM（Large Language Model）。我們可以將LLM看成一位知識淵博的老師，在經(jīng)過大量的知識學習（大量文本數(shù)據(jù)的訓練）后，LLM會基于它的知識庫，給出問題的最佳答案，我們可以使用LLM來完成文本總結(jié)、翻譯、情感分析等工作。最近幾年，是LLM的高速發(fā)展期，很多科技巨頭都在LLM投入大量的資金。下面是這幾年LLM的成果圖：

近年來現(xiàn)有大型語言模型（大小大于10B）的時間表

但對于個人研究者而言，LLM的使用是有一定的門檻，一般的LLM模型對硬件的要求比較高，而一些開發(fā)公司出于商業(yè)的目的，并不打算將項目的源碼進行開源，這都限制了個人研究者從更深的層次去了解LLM，在一定程度上這影響了LLM的發(fā)展（Android能有今天地位，離不開開源和方便使用，這為它后來的迅速發(fā)展打下了良好的基礎）。

好在今年Meta發(fā)布的LLaMA（Language Learning through Multimodal Autoregressive Models）給了對LLM感興趣的開發(fā)者另一個選項，相較于其他的LLM模型而言，LLaMA優(yōu)勢在于它足夠親民且開源。

從親民的角度來說，LLaMA的規(guī)模僅為ChatGPT的“十分之一”，但性能卻優(yōu)于OpenAI的GPT-3模型，而且LLaMA只是一個基礎模型，它完全可以使用公開的數(shù)據(jù)模型進行訓練，這都使得LLaMA的使用門檻被大大降低；從開源的角度來說，LLaMA可以說是被迫開源，因為技術方面的問題，Meta暫緩了開源過程，但在發(fā)布后的不久，LLaMA的模型文件就被泄露了，那么，問題來了，這究竟是故意的還是不小心的呢？

2. llama.cpp

llama.cpp是由保加利亞索非亞的Georgi Gerganov基于LLaMA模型開發(fā)的純C版本。Georgi Gerganov是一位資深的開源社區(qū)開發(fā)者，曾經(jīng)還為OpenAI的自動語音識別模型開發(fā)了whisper.cpp。llama.cpp可以讓使用者在沒有GPU的情況下也能運行LLaMA模型。

所以它一經(jīng)發(fā)布，就吸引了大量對LLaMA感興趣的人下載使用，很快就有人找到了在Windows上運行LLaMA的方法，之后又實現(xiàn)了在手機上的運行。llama.cpp大大降低了LLaMA的使用門檻，通過llama.cpp，LLaMA展現(xiàn)了它無與倫比的語言學習能力，為我們打開了一座探索語言世界的新大門。

值得一提的是，Georgi Gerganov在公布llama.cpp后的幾個月就自主創(chuàng)業(yè)，成立了ggml.ai公司，這個公司的合伙人有GitHub前CEO Nat Friedman和Y-Combinator的Daniel Gross。ggml.ai的成立也引起了許多業(yè)內(nèi)大佬的注意，或許它之后會為AI的發(fā)展帶來一些不一樣的東西。

3. 硬件平臺簡介

3.1 RISC-V簡介

澎峰科技聯(lián)合創(chuàng)始人王軍輝說“2023年是RISC-V高性能計算元年”。因為2023年算能推出了全球第一顆已量產(chǎn)的RISC-V服務器級64核CPU，這意味RISC-V進入高性能計算領域的未來已經(jīng)不遠了。那么，RISC-V到底是什么？ 簡單來說，RISC-V和我們熟悉的X86、ARM一樣，都是指令集架構，但X86屬于復雜指令集（CSIC），RISC-V和ARM屬于精簡指令集（RISC）。

雖然CISC指令豐富功能強大，但隨著CISC的逐步發(fā)展，過于復雜的指令不僅會導致指令使用率不均衡（效率低），也加大了超大規(guī)模集成電路實現(xiàn)的難度。相對的，RISC的優(yōu)勢在于指令簡單，使用率均衡，執(zhí)行效率高。同時，通?；赗ISC的芯片易于實現(xiàn)電路設計和大規(guī)模集成。

正如文章開篇所展示的，我在基于SG2042的RISC-V平臺上完成了LLaMA的移植。LLM和RISC-V都是近兩年比較熱門的東西，同時又有很大的空白供開發(fā)者們探索和建設，所以我覺得把兩者結(jié)合這是一件很有意思也很有意義的事情。下面簡單介紹一下我使用的開發(fā)平臺。

3.2 平臺

RISC-V服務器主板（搭載全球第一顆量產(chǎn)的服務器級64核RISC-V芯片SG2042）

3.3 基本配置

審核編輯：劉清