墨芯支持Byte MLPerf助力AI應(yīng)用

在大模型趨勢下，墨芯通過領(lǐng)先的稀疏計算優(yōu)勢，助力企業(yè)加速AI應(yīng)用，商業(yè)化進程接連取得重要突破。

近日，AI推理評測ByteMLPerf 公開了墨芯S30計算卡的評測結(jié)果。墨芯成為支持ByteMLPerf的供應(yīng)商之一。

圖：墨芯是適配Byte MLPerf（推理）的供應(yīng)商之一

圖：Byte MLPerf基準套件介紹

Byte MlPerf 的評估會分為三個方面，如下：

1. Graph Compiler的易用性、擴展性以及覆蓋率；

2. 運行精度評估：包括數(shù)值誤差和模型跑數(shù)據(jù)集精度；

3. 運行性能評估：不同場景下的（一般指BS不同）的吞吐和延時表現(xiàn)。

墨芯產(chǎn)品與Byte MLPerf的成功適配，標志著墨芯的商業(yè)化進程邁出重要一步，再度印證了稀疏計算在推理性能、能效比等方面的多重優(yōu)勢，展現(xiàn)出墨芯AI計算平臺在業(yè)務(wù)場景中的巨大應(yīng)用價值。

性能突出

凸顯應(yīng)用價值

圖：墨芯AI計算平臺在Byte MLPerf上的性能數(shù)據(jù)

基于墨芯獨創(chuàng)的雙稀疏算法與軟硬協(xié)同設(shè)計，墨芯AI計算平臺不僅支持Byte MLPerf 模型庫中的多個模型，而且以優(yōu)秀的性能與高能效比，貼合實際業(yè)務(wù)場景的需求：

01

大幅降低TCO，助力企業(yè)降本增效

稀疏計算去除了AI計算中的無效元素，因而提升計算效率，墨芯S30計算卡的峰值功耗僅為 250W，意味著降低AI計算過程中的運營成本、基礎(chǔ)設(shè)施等成本，緩解算力昂貴等業(yè)界難題。

02

應(yīng)用場景廣泛

墨芯AI計算平臺支持Byte MLPerf 模型庫中的計算機視覺、語音、自然語言處理等多類任務(wù)，適用于識別、檢測、推薦、AIGC等多種AI應(yīng)用場景，助力企業(yè)拓寬AI業(yè)務(wù)布局。

軟硬協(xié)同平臺

快速賦能AI落地

墨芯基于性能領(lǐng)先的硬件產(chǎn)品與軟件平臺，為客戶提供企業(yè)級端到端的解決方案：墨芯SparseRT 軟件開發(fā)環(huán)境全面支持硬件產(chǎn)品，為快速開發(fā)提供了完整的可擴展平臺并激活稀疏計算的潛力。同時SparseRT 可以高效支持通用的AI編程框架，如TensorFlow、PyTorch、ONNX和MXNet等。用戶可以在熟悉的TensorFlow或PyTorch環(huán)境里進行開發(fā)之后再進行遷移與交付。

SparseRT獨特的SparseOPT為AI模型提供4至32倍的稀疏壓縮能力，并且易于集成到現(xiàn)有的模型交付流程中，從而充分釋放大模型的實時服務(wù)潛力。SparseRT提供可視化性能分析工具，支持離線和實時的模型性能分析，幫助開發(fā)人員分析模型中存在的瓶頸，并提供模型部署優(yōu)化建議，使開發(fā)人員能將墨芯的軟硬件解決方案幾乎零成本集成到現(xiàn)有的基礎(chǔ)設(shè)施和算法交付中。

圖 / 墨芯軟硬協(xié)同AI計算平臺

墨芯將持續(xù)與客戶緊密協(xié)作，共同探索更多AI應(yīng)用場景，以創(chuàng)新的AI計算平臺與服務(wù)，為各行業(yè)的智能化升級創(chuàng)造更多價值。

審核編輯：劉清