人工智能 (AI) 和機器學(xué)習(xí) (ML) 的加速發(fā)展既得益于基礎(chǔ)硬件的不斷改進,也離不開軟件領(lǐng)域的發(fā)展成果。
以 Transformer 架構(gòu)為例。2017 年,谷歌在一篇研究論文中[1]首次提出這一架構(gòu),它采用自注意力機制 (self-attention),使模型能夠在進行預(yù)測時對不同的輸入詞元 (token) 賦予不同權(quán)重。利用自注意力機制,Transformer 模型能夠捕捉數(shù)據(jù)中的遠程依賴關(guān)系,因此在執(zhí)行語言翻譯、圖像處理、文本生成和情感分析等任務(wù)時非常高效。例如,生成式預(yù)訓(xùn)練模型 (GPT) 就是當(dāng)前流行訓(xùn)練有素的 Transformer 模型。這些模型已經(jīng)在語音助手和 AI 圖像生成工具中得到應(yīng)用。
這之于感知器 (perceptron) 還是存在很大的差別。感知器是早期的一種神經(jīng)網(wǎng)絡(luò),由單層人工神經(jīng)元組成,可在模式識別任務(wù)(例如,識別手寫數(shù)字)中做出二元決策。相較于卷積神經(jīng)網(wǎng)絡(luò) (CNN),Transformer 架構(gòu)已開始受到更多青睞。CNN 對數(shù)據(jù)架構(gòu)方式會進行內(nèi)置假設(shè),它關(guān)注附近的關(guān)系,以及觀察圖像或視頻中的對象移動或變化方式。
而 Transformer 架構(gòu)則不會做出這些假設(shè)。相反地,它利用自注意力來理解序列的不同部分如何相互關(guān)聯(lián),而忽略其位置信息。得益于這種靈活性,基于 Transformer 的模型能夠更加輕松地適應(yīng)不同的任務(wù)。
這是如何實現(xiàn)的?Transformer 架構(gòu)及其采用的注意力機制徹底改變了 AI 應(yīng)用的格局,因為注意力機制具備的相關(guān)功能可以為諸多用例提供支持。文本(及語言)本身就是編碼信息,圖像、音頻以及其他形式的串行數(shù)據(jù)同樣如此。由于編碼信息可以解讀為一種語言,因此 Transformer 模型可以廣泛應(yīng)用于不同的用例中。這種適應(yīng)性對于理解視頻、填充圖像的缺失部分或同時分析來自多個攝像頭的數(shù)據(jù)或多模態(tài)數(shù)據(jù)來源(參見下文示例)等任務(wù)非常有效。
2020 年問世的 Vision Transformer (ViT) 是將 Transformer 架構(gòu)成功應(yīng)用于圖像分類的最早一批神經(jīng)網(wǎng)絡(luò)技術(shù)[2]之一。ViT 將圖像劃分為多個圖塊,并使用自注意力機制對這些圖塊之間的交互進行建模。
自此,Transformer 模型被迅速應(yīng)用于各類視覺任務(wù)中,例如:
圖像分類
目標檢測
語義分割
圖像超分辨率
圖像生成
視頻分類
在硬件上優(yōu)化模型
那么,硬件與這一切有什么關(guān)系呢?關(guān)系相當(dāng)密切!而且硬件將是未來發(fā)展的關(guān)鍵因素。
GPU、TPU 或 NPU(甚至 CPU)都可以處理 Transformer 模型所需的密集矩陣運算和并行計算。同時,Transformer 架構(gòu)可使更復(fù)雜的模型運行于資源更為受限的邊緣設(shè)備上。
主要有以下三個原因:
與 CNN 或循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN) 相比,Transformer 架構(gòu)從本質(zhì)上而言更具可并行性。這一特性能更有效地利用硬件,從而可以在計算資源受限的邊緣設(shè)備上部署基于 Transformer 的模型。
自注意力機制意味著通過較小的 Transformer 模型所帶來的性能表現(xiàn),可以媲美基于 CNN 或 RNN 的較大模型,從而降低邊緣部署的算力與內(nèi)存需求。
模型壓縮技術(shù)(例如剪枝、量化、知識提煉和注意力稀疏)的提升可進一步縮小 Transformer 模型的大小,同時又不會造成性能或準確性的明顯下降。
Transformer 架構(gòu)提升
現(xiàn)在,不妨想象一下功能更強大的計算資源,畢竟這一切并不遙遠。通過優(yōu)化支持 Transformer 架構(gòu)的硬件,創(chuàng)新者可充分發(fā)掘這些強大神經(jīng)網(wǎng)絡(luò)的全部潛力,并為跨不同領(lǐng)域和模式的 AI 應(yīng)用帶來全新的可能性。
例如,硬件性能和效率的提升可以:
加快 Transformer 模型的推理速度,從而提高響應(yīng)能力,并改善用戶體驗。
部署更大的 Transformer 模型,從而在語言翻譯、文本生成和圖像處理等任務(wù)中獲得更佳表現(xiàn)。
提高在一系列應(yīng)用和部署場景中的邊緣設(shè)備、云服務(wù)器或?qū)S?AI 加速器中部署 Transformer 解決方案的可擴展性。
探索全新架構(gòu),并不斷優(yōu)化 Transformer 模型。這其中包括嘗試不同的層配置、注意力機制和正則化技術(shù),以進一步提高模型的性能和效率。
顯著提高能效,鑒于某些模型的規(guī)模增長,這一點至關(guān)重要。
試想一下,當(dāng)你打開手機或智能眼鏡上[3]的某個視覺應(yīng)用,它可以識別某個款式的襯衫,并從你的衣柜中推薦與之搭配的下半身穿著?;蛘哂捎谒懔μ嵘霈F(xiàn)的新的圖像生成功能[4]。
增加計算資源并不困難。集成子系統(tǒng)可提供經(jīng)過驗證的各種處理單元塊,包括 CPU、NPU、互連、內(nèi)存和其他組件。而軟件工具可以根據(jù)處理器來優(yōu)化 Transformer 模型,以獲得性能和效率的最大化。
擁抱未來
通過硬件優(yōu)化,Transformer 模型架構(gòu)有望推動一些令人驚嘆的新應(yīng)用。借助優(yōu)化的硬件配置以及集成子系統(tǒng)、互連和軟件開發(fā),無論是更快的推理速度,為更大的模型提供更好的性能,還是更出色的可擴展性等等,這一切都將成為可能。這條通往創(chuàng)新和探索的全新旅程,正在蓬勃發(fā)展,引領(lǐng)我們走向更遠的未來。
審核編輯:劉清
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4729瀏覽量
100347 -
人工智能
+關(guān)注
關(guān)注
1789文章
46435瀏覽量
236661 -
機器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8330瀏覽量
132220 -
AI加速器
+關(guān)注
關(guān)注
1文章
67瀏覽量
8619
原文標題:大咖觀點 | 通過 Transformer 架構(gòu)賦能新一代邊緣 AI 應(yīng)用
文章出處:【微信號:Arm社區(qū),微信公眾號:Arm社區(qū)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論