高通在AI領(lǐng)域的布局，驍龍 8 Gen 2支持Transformer大模型！

電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）前不久，在2022驍龍技術(shù)峰會(huì)上，高通正式發(fā)布了全新一代旗艦移動(dòng)平臺(tái)驍龍 8 Gen 2。驍龍 8 Gen 2搭載一顆專(zhuān)門(mén)面向AI計(jì)算的Hexagon處理器，在手機(jī)AI加速計(jì)算、計(jì)算式攝影、手游光線(xiàn)追蹤、5G雙卡雙通方面均較上一代有較大突破。

高通高級(jí)副總裁兼手機(jī)業(yè)務(wù)總經(jīng)理Christopher Patrick在峰會(huì)上表示，“我們把人工智能作為設(shè)計(jì)第二代驍龍8的關(guān)鍵技術(shù)?！?br />
驍龍 8 Gen 2的AI技術(shù)體現(xiàn)在哪些方面

驍龍8 Gen 2搭載的Hexagon處理器，之前是用來(lái)命名驍龍芯片內(nèi)部DSP的，它在此之前更像是協(xié)處理器。如今Hexagon已經(jīng)進(jìn)化為專(zhuān)用的AI加速計(jì)算芯片，具有專(zhuān)門(mén)為其供電的系統(tǒng)，內(nèi)置Tensor、Scalar加速器、HVX矢量擴(kuò)展處理器，支持Micro Tile Inferencing等技術(shù)。

據(jù)介紹，驍龍8 Gen 2這次的Hexagon處理器具備INT4精度AI計(jì)算的能力。這讓驍龍8 Gen 2成為世界上第一顆，也是目前已知的唯一一顆支持INT4精度AI計(jì)算的移動(dòng)平臺(tái)處理器。

INT4是一種更新、近年來(lái)多受關(guān)注的AI計(jì)算精度模式，和之前經(jīng)常被提起的浮點(diǎn)計(jì)算精度模式相比起來(lái)，INT4能夠讓模型占用空間顯著縮小，從而可以在計(jì)算/能耗資源更為有限的移動(dòng)平臺(tái)上，保存和運(yùn)行更多和更大的預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。

根據(jù)高通的表述，支持了INT4之后，開(kāi)發(fā)者可以讓驍龍8 Gen 2來(lái)跑超大規(guī)模的神經(jīng)網(wǎng)絡(luò)，比如Transformer。在此之前沒(méi)有已知的移動(dòng)平臺(tái)具有本地運(yùn)行Transformer類(lèi)預(yù)訓(xùn)練模型的能力，而驍龍8 Gen 2也成為了第一顆支持Transformer大模型的移動(dòng)處理器。

通過(guò)支持INT4精度計(jì)算，Hexagon處理器還可以更加有效地替代GPU和CPU，在運(yùn)行各種AI計(jì)算任務(wù)時(shí)顯著降低能耗。在持續(xù)AI推理計(jì)算任務(wù)上，驍龍8 Gen 2相比8 Gen 1的性能提升最高可達(dá)4.35倍，每瓦性能提升程度高達(dá)60%。

Christopher Patrick在講解中表示，在Hexagon處理器和Qualcomm Spectra ISP之間，還增加了一個(gè)名為“Hexagon直連”的物理連接，以此打造了移動(dòng)行業(yè)首創(chuàng)的“認(rèn)知ISP”。

“認(rèn)知ISP”應(yīng)用在影像處理過(guò)程中，通過(guò)實(shí)時(shí)語(yǔ)義分割實(shí)現(xiàn)照片和視頻的自動(dòng)增強(qiáng)，利用AI神經(jīng)網(wǎng)絡(luò)讓攝像頭在情境中感知人臉、面部特征、頭發(fā)、衣服和天空等，進(jìn)行獨(dú)立優(yōu)化，從而讓每個(gè)細(xì)節(jié)獲得定制的專(zhuān)業(yè)圖像調(diào)優(yōu)。而之前由于AI性能較弱，用戶(hù)在拍攝完照片之后通常需要一段處理時(shí)間，手機(jī)才會(huì)顯示成片。

在AI性能提升的情況下，驍龍8 Gen 2也帶來(lái)了實(shí)時(shí)硬件加速光線(xiàn)追蹤。高通技術(shù)人士表示，硬件光追可以做到每秒數(shù)百億次光線(xiàn)相交，對(duì)光線(xiàn)、反射、照明等處理會(huì)更加真實(shí)。在網(wǎng)絡(luò)連接方面，5G芯片中植入了AI功能，可以改善網(wǎng)絡(luò)中的時(shí)延、網(wǎng)速、覆蓋不到位等問(wèn)題。

高通軟硬件布局，應(yīng)對(duì)終端AI落地挑戰(zhàn)

如今AI幾乎滲透進(jìn)各行各業(yè)，終端應(yīng)用場(chǎng)景豐富，這也造成終端AI在落地上面臨挑戰(zhàn)。包括：不同終端產(chǎn)品對(duì)性能和功耗需求不同；各類(lèi)終端產(chǎn)品所需的深度學(xué)習(xí)架構(gòu)和算子也差異巨大，比如智能手機(jī)需要使用生成模型、計(jì)算領(lǐng)域要用到Transformer模型，汽車(chē)ADAS則需要激光雷達(dá)模型；各類(lèi)終端產(chǎn)品對(duì)AI特性的需求也不盡相同，比如汽車(chē)和XR需要支持更多的并發(fā)場(chǎng)景。

為了應(yīng)對(duì)這些挑戰(zhàn)，從硬件層面，高通推出的AI解決方案已經(jīng)實(shí)現(xiàn)從500毫瓦到15瓦的性能水平擴(kuò)展，甚至可以滿(mǎn)足200瓦的性能水平。

另外為了解決不同場(chǎng)景對(duì)AI能力需求的差異，高通在Hexagon處理器中打造了高度可配置的硬件解決方案，使高通能夠?qū)I解決方案從智能手機(jī)擴(kuò)展到更多業(yè)務(wù)線(xiàn)。比如面向汽車(chē)、云端等高性能場(chǎng)景，高通可以調(diào)整Hexagon處理器內(nèi)的加速器和內(nèi)存組件，還可以拼接多個(gè)Hexagon處理器，通過(guò)更多Hexagon處理器協(xié)同工作實(shí)現(xiàn)性能的拓展提升。

在AI軟件層面，高通也做了深入布局。今年6月，高通宣布推出AI軟件棧產(chǎn)品組合，以提升高通在AI和智能網(wǎng)聯(lián)邊緣領(lǐng)域的領(lǐng)先優(yōu)勢(shì)。高通AI軟件棧是面向OEM廠(chǎng)商和開(kāi)發(fā)者的一套完整的AI解決方案，集合了高通各種AI軟件產(chǎn)品并進(jìn)行了升級(jí)，通過(guò)豐富的AI軟件權(quán)限和兼容性能夠支持各種智能終端。

高通AI軟件棧支持包括TensorFlow、PyTorch和ONNX在內(nèi)的不同AI框架與主流runtimes，以及開(kāi)發(fā)者庫(kù)與服務(wù)、系統(tǒng)軟件、工具和編譯器，從而使任何面向單一終端開(kāi)發(fā)的AI特性都可在其他終端上輕松部署。高通AI軟件棧產(chǎn)品組合還支持一系列工具套件，包括高通AI模型增效工具包（AIMET）、AI開(kāi)發(fā)圖形用戶(hù)界面（GUI）、用于增強(qiáng)量化與優(yōu)化的模型分析器以及神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（NAS）。

小結(jié)

如今AI的發(fā)展勢(shì)頭迅猛，各家芯片廠(chǎng)商都布局其中，包括英偉達(dá)、英特爾等。高通在該領(lǐng)域也已經(jīng)布局許久，近些年更是加大了在該領(lǐng)域的投入。因?yàn)楸旧響?yīng)用場(chǎng)景多樣的特性，終端AI在落地應(yīng)用上一直存在挑戰(zhàn)，可以看到高通正在從軟硬件各方面解決這些業(yè)界難題。