從端側(cè)到云側(cè)，給硬件減負(fù)的AI超分技術(shù)

電子發(fā)燒友網(wǎng)報道（文/周凱揚）新一輪的AI文生視頻需求爆發(fā)下，服務(wù)器對于GPU性能的要求再度達(dá)到了新的巔峰。然而服務(wù)器端在加強硬件性能的同時，消費終端卻始終在探索如何降低對于硬件的需求，尤其是在圖像處理上。

前幾年隨著高刷屏的普及，越來越多的廠商開發(fā)了對應(yīng)的智能插幀補償技術(shù)。而隨著4K視頻內(nèi)容和屏幕的爆發(fā)，桌面端游戲4K的普及以及移動端游戲720P以上渲染分辨率的普及，AI超分技術(shù)成了視覺處理上的又一大技術(shù)路線。

桌面端超分技術(shù)

在桌面端，GPU往往是AI超分技術(shù)的主力軍，而且隨著技術(shù)的迭代，主流的超分方案不再是效果欠佳的插值算法，也不需要對于應(yīng)用本身進行預(yù)訓(xùn)練，而是可以隨意移植到現(xiàn)有的游戲開發(fā)中去。

英偉達(dá)的DLSS技術(shù)向來被稱為目前超分技術(shù)的領(lǐng)頭羊，通過其GPU專有的Tensor Core，英偉達(dá)得以通過深度學(xué)習(xí)進行實時超分，甚至引入了更加復(fù)雜的算法來提升超分畫面的質(zhì)量。以DLSS 3.0版本為例，英偉達(dá)為RTX40系列的GPU引入了光流幀生成算法，用于實現(xiàn)翻倍的幀率增長。

在3.5版本中，英偉達(dá)又加入了新的光線重構(gòu)技術(shù)，進一步提高了性能，改善了圖像質(zhì)量。這得益于英偉達(dá)內(nèi)部輸入大量訓(xùn)練數(shù)據(jù)打造的降噪算法，這一全新的光線重構(gòu)技術(shù)訓(xùn)練數(shù)據(jù)量是3.0版本的5倍，所以在超分后的降噪性能和效率上遠(yuǎn)超上一代。

在見證了DLSS的成功后，不甘示弱的AMD也推出了FSR超分技術(shù)，如今也從第一版的空域超分算法，變?yōu)閮?yōu)化后的時域超分算法，再到如今同樣支持更低延遲的幀生成技術(shù)。相比起依賴專用硬件單元的DLSS，AMD的FSR更加開放，甚至支持非AMD的GPU。

同屬競爭關(guān)系的還有英特爾的XeSS，XeSS和DLSS 3.5一樣，同樣采用了龐大的訓(xùn)練數(shù)據(jù)，但又和AMD的FSR技術(shù)一樣，支持除了英特爾Arc以外的GPU產(chǎn)品。不過XeSS也分為兩種變體，一種是借助Arc GPU獨有XMX指令集的方案，一種是基于DP4a指令集的通用方案，后者在4K的渲染上要略低于前者。

面對如此多的AI超分技術(shù)，彼此之間又存在一定的硬件壁壘，對于開發(fā)者而言，提供硬件支持已經(jīng)頻繁遇阻，也加大了工作量。為了解決這個問題，微軟決心從引擎上直接入手。在今年的GDC上，微軟發(fā)布了全新DirectSR API，通過與GPU硬件廠商的合作，把超分技術(shù)無縫集成在游戲中。

只需一組通用輸入和輸出，開發(fā)者就能成功實現(xiàn)對于各種超分技術(shù)的支持，包括英偉達(dá)的DLSS、AMD FSR和英特爾XeSS。微軟表示，這一新API的應(yīng)用將直接通過Agility SDK更新實現(xiàn)，所以并不需要系統(tǒng)更新支持，只要是Windows 10之后的系統(tǒng)，集成了對應(yīng)獨立顯示處理器的機器都能享受到AI超分技術(shù)。

值得注意的是，微軟不僅僅想從游戲內(nèi)部設(shè)置中直接提供對多家超分技術(shù)的支持，更是打算直接為用戶開啟自動超分。微軟在最新的Windwos 11 24H2版本中加入了“自動SR”選項，在檢測到支持的游戲后，系統(tǒng)會自動開啟超分辨率技術(shù)。

另外，這一系統(tǒng)自帶的AI超分技術(shù)很有可能會是下一代AI PC的獨占技術(shù)，而并不是調(diào)用GPU廠商的超分技術(shù)。借助下一代AI PC上的獨立NPU，下一代Windows將得以充分利用AI算力，實現(xiàn)游戲乃至未來視頻的超分。

移動端超分技術(shù)

盡管桌面端的部分超分技術(shù)已經(jīng)開源，比如AMD的FSR 2.0，但時域超分其對硬件的要求和對渲染管線的變更，注定了其無法在移動端普及。為此智能手機SoC廠商們也都各顯神通，推出了相應(yīng)的移動端超分技術(shù)。高通在去年4月份推出了全新的驍龍GSR技術(shù)，借助其Adreno GPU實現(xiàn)的單通空域超分算法，可在智能手機和XR設(shè)備上把1080p的源圖像超分至4K。

同樣在移動端發(fā)力AI超分辨率技術(shù)的還有聯(lián)發(fā)科，AI-SR以及MEMC運動補償都是其MiraVision視頻增強中用到的技術(shù)。聯(lián)發(fā)科利用GPU和APU兩者結(jié)合來動態(tài)優(yōu)化畫質(zhì)和功耗。通過第五代和第六代聯(lián)發(fā)科APU，其AI-SR技術(shù)可以實現(xiàn)最高1.5倍的分辨率縮放，同時還能節(jié)省50%的功耗。

除了借助手機SoC自帶的GPU/NPU之外，也有的廠商開始考慮引入獨立的視覺處理器來實現(xiàn)AI超分。比如以今年發(fā)布的一加Ace3為例，就搭載了逐點半導(dǎo)體的X7 Gen2視覺處理器，從而實現(xiàn)基于高效神經(jīng)網(wǎng)絡(luò)算法的AI游戲超分。該方案也采用了分布式計算架構(gòu)的方案，讓GPU只需渲染關(guān)鍵幀和低分辨率畫面，借助X7 Gen2視覺處理器來實現(xiàn)高分辨率的處理，從而減少GPU的渲染負(fù)擔(dān)。

值得一提的是，為了解決傳統(tǒng)SoC應(yīng)用處理器中GPU/NPU存在多線程任務(wù)和固定渲染模式的問題，逐點半導(dǎo)體決定從內(nèi)容渲染端到終端顯示端打通視覺處理通道。所以他們選擇了在游戲中集成手游渲染加速引擎SDK的技術(shù)路線，通過給開發(fā)人員提供這一SDK，廠商在集成這一SDK后就可以實現(xiàn)更優(yōu)質(zhì)的超分效果。

顯示端超分技術(shù)

除了本身就擁有較高算力的PC和智能手機外，不少廠商也開始嘗試在顯示端做集成AI功能的顯示芯片，比如紫光展銳的超高清智能計算芯片M6780。M6780本身采用了Cortex-A76*2+A55*2的CPU方案，和Mali Natt的GPU方案，也集成了最高6.4TOPS算力的NPU。M6780除了支持AI-SR超分辨率技術(shù)外，也支持AI-PQ畫質(zhì)增強、MEMC運動補償?shù)膱D像處理技術(shù)。

除此之外在汽車上，也有對應(yīng)的超分方案出爐，比如早在2022年Imagination就和Visidon達(dá)成了合作，通過IMG Series4神經(jīng)網(wǎng)絡(luò)加速器和Tensor Tiling技術(shù)，將低分辨率的源數(shù)據(jù)上采樣為高分辨率輸出，從而降低視頻傳輸?shù)膸?。在汽車上，這不僅對于車載顯示至關(guān)重要，即便是對于攝像頭獲取的ADAS圖像數(shù)據(jù)，也可以充分降低SoC的內(nèi)存帶寬壓力。

服務(wù)器端超分技術(shù)

除了降低端側(cè)硬件的內(nèi)存帶寬外，降低網(wǎng)絡(luò)帶寬也成了服務(wù)器廠商和流媒體/直播平臺苦惱的問題。視頻商業(yè)模式的變化和用戶對高清內(nèi)容的需求不斷放大，平臺方想要為用戶提供優(yōu)質(zhì)圖像畫面的同時，也希望進一步降低流量費用。而云平臺也希望通過更加實惠的服務(wù)器方案，吸引更多的客戶，尤其是專為視頻平臺打造的加速服務(wù)器。

相較起其他AI超分算法而言，服務(wù)器端的超分算法并不會將畫面質(zhì)量放在首位，而是優(yōu)先側(cè)重帶寬成本和實時性。為此，一些直播平臺往往都會選擇小參數(shù)的超分算法，能夠在單卡上實現(xiàn)30幀低延遲的畫質(zhì)增強。以華為云的昇騰AI云服務(wù)器為例，其就支持1080p視頻/圖片的AI超分，相較傳統(tǒng)的GPU方案，其推理延時降低了60%，超分性能最高可提升至2.58倍。

AWS也推出了對應(yīng)的AI視頻超分解決方案，他們通過基于自研算法預(yù)訓(xùn)練好的超分辨率模型，依靠Inferentia推理加速器提供高吞吐量的推理，可將480p的分辨率超分至1080p甚至是4K分辨率，但越高的分辨率也就意味著處理原視頻的每小時成本會成倍增長。

寫在最后

以目前市面上已有的各種AI超分技術(shù)而言，無論是實用性還是技術(shù)成熟度都已經(jīng)很高了。對于桌面端用戶而言，可以進一步降低應(yīng)用對顯卡的圖形性能要求；在移動端，超分技術(shù)改善視覺流暢度的同時，降低了硬件的整體功耗，提高了續(xù)航；而對于傳統(tǒng)的數(shù)字電視和車載顯示而言，超分技術(shù)釋放了端側(cè)有限的帶寬，加強了用戶體驗；在服務(wù)器端，超分算法為平臺節(jié)省了海量的流量成本。