NPU和AI TOPS是什么？它們有哪些性能？

在當(dāng)今快速發(fā)展的技術(shù)環(huán)境中，AI正在變革各行各業(yè)并推動(dòng)創(chuàng)新，理解AI性能指標(biāo)的復(fù)雜性至關(guān)重要。過去許多AI模型需要在云端運(yùn)行。當(dāng)我們走向由終端側(cè)生成式AI處理定義的未來時(shí)，我們必須能夠評(píng)估計(jì)算平臺(tái)可運(yùn)行AI模型的性能、準(zhǔn)確性和效率。如今，TOPS(每秒萬億次運(yùn)算)是衡量處理器AI性能的主要方式之一。TOPS是基于處理器所需的架構(gòu)和頻率，衡量處理器潛在AI推理峰值性能的方法，比如神經(jīng)網(wǎng)絡(luò)處理器(NPU)。下面我們將深入探討。

NPU是什么？

在深入探討TOPS的具體內(nèi)容之前，讓我們先看看NPU的重要性。對(duì)于終端側(cè)AI處理，NPU在提高效率、為個(gè)人用戶和企業(yè)提供創(chuàng)新的應(yīng)用體驗(yàn)方面發(fā)揮著關(guān)鍵作用。評(píng)估這些專用處理器的性能需要全面了解其能力背后的關(guān)鍵指標(biāo)。

NPU的演進(jìn)改變了人們處理計(jì)算的方式。傳統(tǒng)上，CPU負(fù)責(zé)執(zhí)行AI算法。隨著對(duì)處理性能的需求飆升，專用NPU應(yīng)運(yùn)而生，成為處理AI相關(guān)軟件應(yīng)用的專用解決方案。NPU旨在高效處理AI任務(wù)所需的復(fù)雜數(shù)學(xué)計(jì)算，提供出色的效率、性能和能效。

AI TOPS是什么？

TOPS作為展示處理器計(jì)算能力的指標(biāo)，是衡量NPU性能的核心。

TOPS通過以萬億單位測(cè)量一秒鐘內(nèi)執(zhí)行的運(yùn)算（加法、乘法等）次數(shù)來量化NPU處理能力。

這種標(biāo)準(zhǔn)化測(cè)量方式非常明確地顯示了NPU的性能，可作為比較不同處理器和架構(gòu)AI性能的關(guān)鍵指標(biāo)。因?yàn)門OPS是針對(duì)NPU的基礎(chǔ)性能指標(biāo)，探索TOPS的計(jì)算參數(shù)以及它們?nèi)绾螞Q定性能至關(guān)重要，這有助于更深入地了解NPU的能力。

乘法累加(MAC)運(yùn)算執(zhí)行AI工作負(fù)載中的核心數(shù)學(xué)公式。矩陣乘法由兩類基礎(chǔ)運(yùn)算組成：累加器的乘法和加法。例如，一個(gè)MAC單元可在每個(gè)時(shí)鐘周期內(nèi)運(yùn)行兩類基礎(chǔ)運(yùn)算各一次，意味著它在每個(gè)時(shí)鐘周期內(nèi)執(zhí)行兩個(gè)運(yùn)算。一個(gè)給定的NPU有一定數(shù)量的MAC單元，能夠在不同精度級(jí)別進(jìn)行運(yùn)算，這取決于NPU架構(gòu)。

頻率決定NPU及其MAC單元（以及CPU或GPU）運(yùn)算的時(shí)鐘速度（或每秒周期數(shù)），直接影響整體性能。更高的頻率允許在單位時(shí)間內(nèi)執(zhí)行更多運(yùn)算，從而提高處理速度。但是，提高頻率也會(huì)導(dǎo)致更高功耗和發(fā)熱，影響電池續(xù)航和用戶體驗(yàn)。處理器TOPS計(jì)算通常使用峰值運(yùn)行頻率。

精度指計(jì)算的顆粒度，通常精度越高模型準(zhǔn)確性就越高，需要的計(jì)算強(qiáng)度也越高。最常見的高精度AI模型為32位和16位浮點(diǎn)精度，而速度更快的低精度低功耗模型通常使用8位和4位整數(shù)精度。當(dāng)前行業(yè)標(biāo)準(zhǔn)為以INT8精度評(píng)估AI推理性能TOPS。

計(jì)算TOPS要從計(jì)算OPS開始，OPS等于MAC單元數(shù)乘以運(yùn)行頻率的兩倍。TOPS數(shù)量是OPS除以一萬億的值，將公式更簡單地列出，即TOPS = 2×MAC單元數(shù)×頻率/1萬億。

TOPS和實(shí)際性能

盡管TOPS提供了探索NPU能力的重要信息，我們?nèi)员仨殞⒗碚撝笜?biāo)和實(shí)際應(yīng)用聯(lián)系起來。畢竟，僅僅有高TOPS值并不能保證最佳的AI性能；各種因素協(xié)同作用的結(jié)果才能真正決定NPU實(shí)力。

因此評(píng)估NPU性能時(shí)要考慮內(nèi)存帶寬、軟件優(yōu)化和系統(tǒng)集成等方面的因素。基準(zhǔn)測(cè)試可以幫助我們超越數(shù)字，了解NPU在實(shí)際場(chǎng)景中的表現(xiàn)，其中時(shí)延、吞吐量和能效尤為重要。

Procyon AI基準(zhǔn)測(cè)試使用真實(shí)工作負(fù)載來幫助將理論性的TOPS評(píng)估轉(zhuǎn)化為用戶在使用AI推理的真實(shí)應(yīng)用中對(duì)響應(yīng)和處理能力的預(yù)期。它以多個(gè)精度運(yùn)行六個(gè)模型，提供NPU不同性能表現(xiàn)的詳細(xì)洞察。類似模型在生產(chǎn)力、媒體、創(chuàng)作者和其他應(yīng)用中越來越常見。在Procyon AI和其他基準(zhǔn)測(cè)試中有更快的性能表現(xiàn)，與實(shí)現(xiàn)更快推理和更好用戶體驗(yàn)息息相關(guān)。

為此，分析實(shí)際性能可以為NPU的能力和局限性提供寶貴洞察。必須從可行性和實(shí)用性角度檢驗(yàn)性能指標(biāo)。

未來NPU性能指標(biāo)

隨著技術(shù)不斷快速發(fā)展，數(shù)字化轉(zhuǎn)型需求持續(xù)影響各行各業(yè)，NPU性能指標(biāo)格局將進(jìn)一步演進(jìn)。盡管新興趨勢(shì)正在更廣泛地定義和評(píng)估NPU性能與計(jì)算的方式，TOPS仍是很好的性能指標(biāo)，將在很長一段時(shí)間內(nèi)繼續(xù)作為重要參考。

隨著各種AI新技術(shù)在未來幾年受到關(guān)注并重新定義無數(shù)行業(yè)，對(duì)能夠反應(yīng)不同技術(shù)獨(dú)特特征的可靠性能指標(biāo)的需求將不斷凸顯。適應(yīng)性、可擴(kuò)展性和實(shí)際應(yīng)用相關(guān)性將定義未來的NPU性能指標(biāo)。

根據(jù)用戶需求評(píng)估NPU性能

應(yīng)對(duì)快速變化的NPU性能評(píng)估領(lǐng)域或許會(huì)讓人望而生畏，但隨著數(shù)字化轉(zhuǎn)型（尤其是在AI領(lǐng)域）持續(xù)快速發(fā)展，深入了解TOPS對(duì)行業(yè)和個(gè)人來說都很重要。

最終，選擇合適的系統(tǒng)級(jí)芯片(SoC)取決于用戶、客戶或組織的工作負(fù)載和優(yōu)先級(jí)，而這一決策很可能需要取決于SoC中的NPU。

無論用戶是優(yōu)先考慮原始算力、能效還是模型準(zhǔn)確度，驍龍X系列平臺(tái)面向筆記本電腦，配備高達(dá)45TOPS的NPU，能夠強(qiáng)力賦能PC，并將實(shí)際可用的AI體驗(yàn)引入用戶的工作流程。