Kinara發(fā)布Ara-2邊緣AI處理器，實(shí)現(xiàn)高效、經(jīng)濟(jì)、節(jié)能的推理性能

Kinar于近期發(fā)布了Ara-2邊緣AI處理器，這是一款專為邊緣服務(wù)器及筆記本電腦打造的高性能、高效能且節(jié)能推理解決方案，尤其適用于視頻分析、大規(guī)模語(yǔ)言模型（LLM）在內(nèi)的各類AI應(yīng)用。值得注意的是，Ara-2也能夠良好適應(yīng)傳統(tǒng)AI模型和基于Transformer架構(gòu)的尖端AI模型，其所具備的體驗(yàn)式增強(qiáng)功能集使得Ara-2的性能較初代的Ara-1處理器有顯著提升，可達(dá)成超過(guò)5至8倍的增長(zhǎng)，將實(shí)時(shí)響應(yīng)能力與大吞吐量相結(jié)合，從而達(dá)致高度精煉的延遲優(yōu)化設(shè)計(jì)和均衡性能。

生成式AI現(xiàn)已成為主流，然而大多數(shù)此類應(yīng)用卻在數(shù)據(jù)中心的GPU上運(yùn)行，由此引發(fā)的延遲、高成本以及隱私問(wèn)題亟待解決。Ara-2順應(yīng)時(shí)代變化，貼心支持生成式AI模型所需引導(dǎo)的數(shù)十億個(gè)參數(shù)，為跨境轉(zhuǎn)移提供便利。同時(shí)，為了更順暢地完成從GPU至各個(gè)AI模型的過(guò)度，其內(nèi)建的計(jì)算引擎以及軟件開發(fā)套件（SDK）均為此進(jìn)行定制搭建。

“Ara-2的誕生使得我們有能力根據(jù)客戶需求提供更高性能和成本選擇。如Ara-1，其專為智能相機(jī)及具有2至8路視頻流的邊緣AI設(shè)備而生；而Ara-2則特別擅長(zhǎng)處理針對(duì)16至32路甚至更多視頻流的底層邊緣服務(wù)器或筆記本電腦，且與高端相機(jī)完美兼容?！?Kinara首席執(zhí)行官Ravi Annavajjhala對(duì)此表示?！敖柚冗M(jìn)的計(jì)算引擎，Ara-2能夠快速處理高清圖像，有效提升精度，實(shí)現(xiàn)更高水平的對(duì)象檢視、識(shí)別及追蹤。例如，針對(duì)生成式AI模型，Stable Diffusion每10秒即可生成一幅圖片，LLaMA-7B則可達(dá)到每秒幾十個(gè)token的處理速率?！?/p>

據(jù)悉，Ampere將在10月份容忍Kinar加入其人工智能平臺(tái)聯(lián)盟，共同致力于降低系統(tǒng)復(fù)雜度，推動(dòng)人工智能進(jìn)一步提升協(xié)同工作能力和開放性，目標(biāo)在于提供比GPU更優(yōu)的總體性能，同時(shí)兼顧吞吐量、功率和成本效益。該團(tuán)隊(duì)的首席布道師Sean Varley認(rèn)為：“ ARA-2展現(xiàn)的性能和功能集讓我堅(jiān)定朝這個(gè)方向發(fā)展，助力行業(yè)推出性能更優(yōu)且與現(xiàn)有GPU技術(shù)相匹敵的AI替代方案。”

除此之外，Ara-2還秉持著安全啟動(dòng)、加密內(nèi)存訪問(wèn)以及安全主控接口等特性，確保企業(yè)AI部署擁有更高的安全性。Kinar亦為之提供全套的SDK支持，囊括模型編譯器、計(jì)算單元調(diào)度程序、靈活的量化選項(xiàng)（含內(nèi)置的Kinar量化器）以及對(duì)PyTorch和TFLite預(yù)量化模型的支持、多芯片負(fù)荷均衡器系統(tǒng)與動(dòng)態(tài)調(diào)節(jié)主控運(yùn)行等諸多要素。

Ara-2提供獨(dú)立設(shè)備、USB模塊、M.2模塊以及多個(gè)Ara-2組成的PCIe卡等豐富形式供消費(fèi)者選擇。 Kinara計(jì)劃在CES上現(xiàn)場(chǎng)展示這款備受矚目的Ara-2產(chǎn)品。