能效比較GPGPU高一個(gè)數(shù)量級(jí)，國(guó)產(chǎn)AI芯片讓端側(cè)AI大模型高質(zhì)量落地

電子發(fā)燒友網(wǎng)報(bào)道（文/吳子鵬）2024年世界人工智能大會(huì)（以下簡(jiǎn)稱：WAIC 2024）依然是一場(chǎng)“百模大戰(zhàn)”，不過(guò)有一些很明顯的變化是：新推出的AI大模型更加注重用戶體驗(yàn)；邊側(cè)和端側(cè)承載AI大模型的方案越來(lái)越多。也就是說(shuō)，AI大模型不僅完成了從“能用”到“好用”的蛻變，也從高高在上的云端，走到更靠近應(yīng)用場(chǎng)景的邊側(cè)和端側(cè)，這給作為方案核心的推理芯片提出了非常高的要求。

在愛芯元智于WAIC 2024舉辦的“芯領(lǐng)未來(lái)丨智能芯片及多模態(tài)大模型論壇”上，愛芯元智創(chuàng)始人、董事長(zhǎng)仇肖莘在主旨演講中表示，大模型真正大規(guī)模落地需要云邊端三級(jí)緊密結(jié)合，而邊側(cè)和端側(cè)結(jié)合的關(guān)鍵在于高能效的邊端AI芯片。 仇肖莘指出，目前基于愛芯元智AI芯片已經(jīng)完成非常多款A(yù)I大模型的適配，能夠支持的參數(shù)規(guī)模覆蓋0.3B-7B?！按钶dAI處理器的高效推理芯片將是大模型落地更合理的選擇，這也是推進(jìn)普惠AI的關(guān)鍵所在?！?br />
愛芯智眸AI-ISP和愛芯通元NPU
在AI芯片的研發(fā)上，愛芯元智打造了廣受業(yè)界認(rèn)可的愛芯智眸AI-ISP和愛芯通元混合精度NPU兩大自研核心技術(shù)。其中，愛芯智眸AI-ISP是將深度學(xué)習(xí)算法與傳統(tǒng)的ISP處理單元相結(jié)合，利用像素級(jí)AI處理技術(shù)，在各種復(fù)雜應(yīng)用場(chǎng)景中，全面提升成像效果，為后期智能處理提供高質(zhì)量的圖像、視頻素材，作為萬(wàn)物智能的“眼睛”感知更多信息，特別是暗光全彩的剛需。

愛芯通元混合精度NPU是以算子為原子指令集的AI計(jì)算處理器，采用多線程異構(gòu)多核設(shè)計(jì)，實(shí)現(xiàn)算子、網(wǎng)絡(luò)微結(jié)構(gòu)、數(shù)據(jù)流和內(nèi)存訪問(wèn)優(yōu)化，高效支持混合精度算法設(shè)計(jì)，原生支持Transformer網(wǎng)絡(luò)結(jié)構(gòu)，為大模型在邊緣側(cè)、端側(cè)的應(yīng)用提供良好的基礎(chǔ)。

仇肖莘談到，愛芯元智現(xiàn)階段奉行以“AIoT+ADAS”為主的一體兩翼戰(zhàn)略路線，在AI大模型進(jìn)入邊側(cè)和端側(cè)的過(guò)程中，智慧城市和智能汽車都是非常具有代表性的應(yīng)用場(chǎng)景?！澳壳岸藗?cè)大模型落地依然在前期探索階段，我認(rèn)為智能汽車、AI手機(jī)和AIPC將會(huì)是第一批落地的場(chǎng)景，智能駕駛之所以需要端側(cè)大模型原因在于汽車對(duì)實(shí)時(shí)性的要求更高?！?br />
愛芯智眸AI-ISP作為AI芯片的子系統(tǒng)，為解決很多端側(cè)場(chǎng)景圖像問(wèn)題提供了強(qiáng)力支持。比如在智能駕駛場(chǎng)景中，愛芯智眸AI-ISP提供AI星光全彩、AI HDR成像、AI多光譜融合、AI防抖、AI場(chǎng)景增強(qiáng)、AI多傳感器融合六大技術(shù)亮點(diǎn)，能夠幫助智能汽車在大雨、大霧、夜間和隧道等惡劣的駕駛環(huán)境中獲取清晰的圖像。

當(dāng)然，AI技術(shù)的發(fā)展也在推動(dòng)AI-ISP的創(chuàng)新。以愛芯智眸AI-ISP來(lái)說(shuō)，目前AI算法已經(jīng)取代了降噪模塊、防抖模塊。仇肖莘認(rèn)為，后續(xù)AI-ISP發(fā)展一個(gè)值得探索的方向是，AI-ISP是不是也能夠成為一個(gè)“黑盒式”的AI大模型，用AI算法取代更多ISP中的功能單元，使得AI-ISP能夠利用CMOS圖像傳感器的信號(hào)直接成像，讓用戶不必再去考慮ISP工作的中間環(huán)節(jié)。

在AI芯片的打造上，愛芯通元混合精度NPU的優(yōu)點(diǎn)不只是原生支持Transformer網(wǎng)絡(luò)結(jié)構(gòu)，還包括通過(guò)可編程數(shù)據(jù)流DSA架構(gòu)，能夠覆蓋目前用戶需要的基本算子，成本、效能和運(yùn)算效率都非常高。仇肖莘說(shuō)，“AI算法發(fā)展至今已經(jīng)非常成熟，進(jìn)入一個(gè)較為穩(wěn)定的狀態(tài)，因此用戶對(duì)于算子的需求不再有日新月異的變化，這是愛芯元智能夠打造通用AI處理器的關(guān)鍵。”

根據(jù)愛芯元智聯(lián)合創(chuàng)始人、副總裁劉建偉的介紹，此次論壇上正式發(fā)布的愛芯通元AI處理器在高中低三檔算力中已完成布局，并在智慧城市和輔助駕駛兩個(gè)領(lǐng)域?qū)崿F(xiàn)了規(guī)?；慨a(chǎn)，能效比較GPGPU芯片提升了一個(gè)數(shù)量級(jí)，而在以文搜圖、通用檢測(cè)、以圖生文、AI Agent等通用大模型應(yīng)用中，愛芯通元AI處理器也可以讓AI開發(fā)者以更低的成本進(jìn)行高效開發(fā)。
讓端側(cè)更好地承載AI大模型 根據(jù)《2024年中國(guó)AI大模型產(chǎn)業(yè)發(fā)展報(bào)告》，截至2024年3月，國(guó)內(nèi)部署大模型的企業(yè)數(shù)量超243家，以通用大模型為主。不過(guò)，我們都知道AI大模型成功的關(guān)鍵在于行業(yè)大模型、端側(cè)、端云結(jié)合等多種模式并行。 端側(cè)大模型的部署所面臨的挑戰(zhàn)和云端是完全不同的，需要克服能耗的限制，還需要在足夠小的參數(shù)下，做到大部分日常工作。在WAIC 2024上，愛芯元智在自己的展臺(tái)上也展示了其AI芯片在部署端側(cè)大模型方面的能力。

案例一是基于愛芯元智端側(cè)小芯片AX630C部署語(yǔ)言大模型——阿里云通義千問(wèn)Qwen2.0。AX630C提供3.2T的算力，通過(guò)運(yùn)載通義千問(wèn)Qwen2.0，可以流暢地實(shí)現(xiàn)人機(jī)對(duì)話，查詢信息、日常交流等任務(wù)。AX630C運(yùn)載通義千問(wèn)Qwen2.0每秒能處理超過(guò)10個(gè)信息單元，但功耗只有1.5瓦。

案例二是愛芯元智端AX650N結(jié)合CLIP模型可以實(shí)現(xiàn)以文搜圖的功能，只需要一個(gè)詞、一句話或一段文字，系統(tǒng)就能迅速準(zhǔn)確地從海量圖片中找到匹配項(xiàng)。

案例三是基于愛芯元智端AX650N運(yùn)轉(zhuǎn)多模態(tài)多維感知大模型OWL-ViT大模型，精準(zhǔn)完成對(duì)未知目標(biāo)檢測(cè)，實(shí)現(xiàn)圖像自動(dòng)標(biāo)簽化。

正如上文提到的，愛芯通元AI處理器提供完備的算子集合，因此對(duì)于市面上的大模型能夠提供非常好的支持，并且適配的速度是非?？斓摹１热?，今年4月份，Meta發(fā)布了Meta Llama 3系列語(yǔ)言模型（LLM），具體包括一個(gè)8B模型和一個(gè)70B模型。隨后不久，愛芯元智就宣布，愛芯通元AI處理器完成Llama 3和Phi-3大模型適配。在Llama 3模型的適配上，愛芯元智AX650N芯片適配了Llama 3 8B Int8版本，若采用Int4量化，每秒token數(shù)還能再翻一倍，能滿足正常的人機(jī)交流。仇肖莘強(qiáng)調(diào)，愛芯元智的AI芯片對(duì)INT2、INT4、INT8、INT16混合精度算力都可以支持。


結(jié)語(yǔ)
AI大模型的發(fā)展已經(jīng)進(jìn)入一個(gè)新階段，行業(yè)大模型以及云邊端結(jié)合的大模型是下一步發(fā)展重點(diǎn)。在端側(cè)運(yùn)轉(zhuǎn)大模型有不一樣的挑戰(zhàn)，能耗和參數(shù)規(guī)模都會(huì)受到限制，但用戶體驗(yàn)不能打折。愛芯通元AI處理器以及愛芯元智AX650N等AI芯片展示出了非常好的端側(cè)大模型支持能力，在普惠AI的道路上邁出了堅(jiān)實(shí)一步。