云天勵飛發(fā)布新一代邊緣AI芯片，采用Chiplet技術，可運行百億級大模型

電子發(fā)燒友網報道（文/李彎彎）近期，云天勵飛在高交會上重磅發(fā)布新一代AI芯片DeepEdge10。據介紹，DeepEdge10是國內首創(chuàng)國產14nm Chiplet大模型推理芯片，采用自主可控的國產工藝，內含國產RISC-V核，支持大模型推理部署。

云天勵飛新一代自研AI SoC DeepEdge10

大模型在邊緣運行對AI芯片提出新的要求

人工智能正在帶來史無前例的新一輪科技革命浪潮，以 ChatGPT 為代表的領域大模型在過去的一年多的時間內取得了很大進展，在對話生成、圖像生成、圖像分割、音樂生成等領域都展現了讓人驚嘆的效果，并迅速的在一些場景快速應用落地，例如網絡搜索、會議摘要、自動化編程、 自動化辦公軟件等等。

在另一方面，大模型的能力也迅速的從自然語言處理快速的向語音、圖像、 視頻等領域橫向擴展，多模態(tài)大模型的出現昭示著通用人工智能的時代即將來臨。

邊緣計算的場景呈現出算力碎片化、算法長尾化、產品非標化、規(guī)模碎片化等特征，傳統(tǒng)的算法開發(fā)和芯片都難以適應新一代人工智能邊緣計算場景的產品化需求。大模型的出現，為行業(yè)提供了算法層面的解決之道。但大模型在邊緣計算場景要面向實戰(zhàn)發(fā)揮作用，則需要AI大模型推理芯片的支持。

根據任務的不同，AI芯片可分為訓練芯片和推理芯片。訓練，即通過輸入大量數據來構建神經網絡模型，使之可以適應特定的功能。訓練芯片對算力、精度、通用性有較為苛刻的需求，需要能夠處理海量數據以及適應各種不同的學習任務；推理，即借助現有神經網絡進行運算，通過新輸入的數據來獲得推理結論。推理芯片對性能和精度的要求相對較低，更注重對成本、功耗、時延等指標的綜合考量。

云天勵飛董事長兼CEO陳寧對媒體表示，訓練不是目的，生產大模型不是目的，千行百業(yè)的落地和應用才是最終目的。不論是機器人、無人駕駛汽車智能傳感，還是各類智能硬件，甚至腦機接口芯片，都需要大模型的推理芯片。與訓練芯片相比，目前推理芯片市場還處于百家爭鳴的狀態(tài)。尤其在中國，已經開始考慮怎么基于國產工藝落地推理芯片，構建國產工藝推理芯片的生態(tài)。

對于AI芯片來說，當前備受關注的大模型，帶來了全新的計算范式和計算要求。云天勵飛副總裁李愛軍談到，芯片需要具備更大的算力、更大的內存帶寬、更大的內存容量，才能支持巨量參數的大模型在邊緣端運行。

云天勵飛新一代AI芯片可承載百億大模型運算

自2014年成立之初，云天勵飛就一直堅持自主研發(fā)芯片，沉淀“算法芯片化”的核心能力。陳寧指出，“算法芯片化”并不是簡單的“算法+芯片”，而是云天勵飛基于對場景的理解，以及對算法關鍵計算任務在應用場景中的量化分析，將芯片設計者的理念、思想與算法相融合的AI芯片設計流程，能夠讓AI芯片在實際應用中發(fā)揮更優(yōu)的效果。

在算法芯片化核心能力的支持下，云天勵飛目前已完成3代指令集架構、4代神經網絡處理器架構的研發(fā)，且陸續(xù)商用。4年前，云天勵飛第一代AI芯片DeepEye1000實現獨立商用。

如今，大語言模型逐步向邊緣和終端滲透，云天勵飛聚焦構建邊緣推理芯片的自主可控生態(tài)，推出新一代邊緣AI推理芯片DeepEdge10。該芯片采用國內先進工藝、支持多芯粒擴展的 Chiplet技術，可提供12TOPS（INT8）整型計算和 2TFLOPS（FP16）浮點計算的深度學習推理計算算力，滿足市場對處理芯片在算法的多樣性、準確性、算力密度及效能方面的要求。

并且，配合DeepEdge10系列邊緣智能芯片的處理器架構和硬件架構升級，工具鏈和軟件棧也進行了相應的升級，滿足多種深度學習算法模型在復雜的應用場景下的部署需求。

云天勵飛EDGE10系列芯片

針對各類應用場景，云天勵飛已開發(fā)出Edge10C、Edge10 標準版和 Edge10Max三款芯片。 Edge10C采用 8 核 CPU、算力 8Tops，Edge10 標準版采用 10 核 CPU、算力 12Tops，兩者均應用于智慧安防、智慧城市和智能制造等邊緣計算推理領域。

Edge10Max 擁有 32 核 64 位通用處理器內核，單芯片可提供 50Tops 算力，32GB DDR 容量和 120BG/S 的內存帶寬，能高效支持 Transformer 模型中的矩陣乘法運算，主要應用于邊緣大模型推理領域。

目前 DeepEdge10 芯片主要的適配的合作伙伴包括攝像頭、邊緣計算設備、機器人、汽車智能座艙等行業(yè)的客戶。此外，依托DeeEdge10創(chuàng)新的D2Dchiplet架構打造的X5000推理卡，已適配并可承載SAMCV大模型、Llama2等百億級大模型運算。云天勵飛高管對媒體表示，下一代AI芯片將全面兼容多模態(tài)大模型，適配云天天書大模型的升級。



千億級、百億級大模型需要達到極強計算能力的同時，還能保持超低的功耗及成本，對芯片工藝要求高。

Chiplet是一種芯片模塊化設計方案，通過集成封裝等技術，能夠將不同工藝節(jié)點、不同功能、不同材質的芯片，如同搭積木一樣集成一個更大的系統(tǒng)級芯片。陳寧介紹說：“結合當前國內的生產工藝現狀，我們和合作伙伴一起在三年前聯(lián)合技術攻關，采用D2D Chiplet技術，定制了一系列的IP，以在14nm的工藝節(jié)點上，支持大模型的推理部署?！?br />
小結

總的來說，目前大模型正在向邊緣端滲透，而這對邊緣AI芯片提出新的要求，需要更高的算力、更大的內存帶寬及內存容量。云天勵飛率先通過Chiplet工藝實現在14nm下推出可以運行百億大模型的邊緣推理芯片，值得關注。