走向邊緣智能，美格智能攜手阿加犀成功在高算力AI模組上運行一系列大語言模型

近日，美格智能發(fā)揮軟硬件一體協(xié)同開發(fā)能力，融合阿加犀卓越的AI優(yōu)化部署技術(shù)，在搭載高通QCS8550平臺的高算力AI模組上，成功運行了一系列大語言模型，包括LLaMA-2、通義千問Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna，展現(xiàn)出卓越的邊緣端大模型部署能力。

▌構(gòu)建智算底座，加速大模型端側(cè)部署

大模型和生成式AI的浪潮席卷全球，帶來人工智能新紀元。大模型誕生之初主要是與云端綁定，而隨著應(yīng)用場景的拓展，AI開始賦能千行百業(yè)，大模型也需要在越來越多的終端設(shè)備上運行。如果說生成式AI是正在高速向前行駛的列車，那算力就是燃料。終端側(cè)AI的落地應(yīng)用，離不開硬件和設(shè)備算力的升級。

今年，高通推出了AI算力芯片QCS8550，整合了強大的NPU算力和邊緣側(cè)AI處理技術(shù)、Wi-Fi 7連接技術(shù)以及增強型圖形和視頻處理能力，提供高速、低功耗的AI計算平臺，為終端側(cè)AI賦能。

基于高通QCS8550芯片平臺，美格智能推出了高算力AI模組SNM970，綜合AI算力高達48Tops，并支持混合精度計算，為IoT設(shè)備打造全新的智算底座。高算力AI模組是承載端側(cè)AI無限創(chuàng)造空間的最佳形式，為海量碎片化場景提供穩(wěn)定的通信能力和強大的邊緣算力，讓終端開發(fā)者能夠基于標準化的模組完成低成本、短流程的產(chǎn)品設(shè)計和制造，降低大模型的開發(fā)和使用成本。

另一方面，AI從芯片到應(yīng)用還需要解決跨平臺遷移、異構(gòu)芯片效率丟失、碎片化的場景需求等挑戰(zhàn)。阿加犀具備成熟的AidLux平臺和行業(yè)領(lǐng)先的開箱即用AI工具鏈，能夠全面提升邊緣設(shè)備的AI性能和模型執(zhí)行效率，為AI項目在豐富場景中快速落地提供專業(yè)支持，進一步推動AI應(yīng)用的終端部署。

此次，美格智能高算力AI模組產(chǎn)品團隊攜手阿加犀，在基于高通驍龍800系列平臺的自研高算力AI模組上成功運行一系列大語言模型，成功驗證了算力模組作為未來大模型邊緣AI算力底座的通用性，對邊緣端生成式AI的支持進一步成熟，有望將生成式AI拓展至更多領(lǐng)域。

美格智能提供具備出色能效比、強大的計算能力的算力模組，結(jié)合阿加犀獨有的AI工具鏈帶來的領(lǐng)先的SoC性能調(diào)度能力，二者強強聯(lián)合發(fā)揮出模組的極致性能，讓多個參數(shù)達70億的語言大模型，包括LLaMA-2、通義千問Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna，都能在算力模組上保持高效運行。

▌高算力AI模組，讓AI觸手可及

美格智能高算力AI模組產(chǎn)品專為終端側(cè)、邊緣側(cè)AI應(yīng)用設(shè)計，依靠強大的軟硬件一體研發(fā)能力，美格智能持續(xù)推進高算力AI模組的AI硬件不斷升級，至今已經(jīng)歷經(jīng)多代產(chǎn)品演進，涵蓋入門級、中端、旗艦級多層次產(chǎn)品，包括SNM930、SNM950、SNM960、SNM970、SNM972等系列，對應(yīng)AI算力覆蓋14Tops~48Tops。

同時，美格智能研發(fā)團隊在AI應(yīng)用場景開發(fā)、AI性能優(yōu)化和AI低功耗程序研發(fā)等領(lǐng)域的設(shè)計研發(fā)能力處于行業(yè)領(lǐng)先水平，相關(guān)算力產(chǎn)品在各類核心場景大規(guī)模應(yīng)用，讓智慧零售、智能機器人、智慧交通、智慧農(nóng)業(yè)、智能制造等各行各業(yè)快速于邊緣端部署大模型，以AI驅(qū)動業(yè)務(wù)創(chuàng)新。

針對AI邊緣計算領(lǐng)域，美格智能基于高算力AI模組SNM972，助力客戶打造SoC陣列服務(wù)器產(chǎn)品。該模組采用MiniPCIe封裝方式，支持16GB LPDDR5X + 256GB UFS 4.0內(nèi)存，并支持混合精度計算，支持ONNX、Pytorch、CAFFE、TensorFlowLite等模型框架，可輕松賦能各類AI場景。

方案中每個算力節(jié)點采用刀片+陣列式設(shè)計，內(nèi)部實現(xiàn)模塊化及熱插拔設(shè)計，可以實現(xiàn)不停機維護。最高可配置80路算力模組，單顆模組內(nèi)部支持Android虛擬化，可虛擬出多路計算單元，更好地進行算力配置，為實時互動云計算、邊緣AI云計算、云渲染等業(yè)務(wù)場景提供最佳算力底座。

AI正在改變世界，美格智能始終以市場需求為導(dǎo)向，與合作伙伴緊密合作，圍繞高算力AI模組打造更多適配行業(yè)的解決方案，拉近大模型和應(yīng)用之間的距離，把握智慧先機，實現(xiàn)讓AI觸手可及的目標，賦能數(shù)字經(jīng)濟發(fā)展。