從端側到云測，給硬件減負的AI超分技術

電子發(fā)燒友網(wǎng)報道（文/周凱揚）新一輪的AI文生視頻需求爆發(fā)下，服務器對于GPU性能的要求再度達到了新的巔峰。然而服務器端在加強硬件性能的同時，消費終端卻始終在探索如何降低對于硬件的需求，尤其是在圖像處理上。

前幾年隨著高刷屏的普及，越來越多的廠商開發(fā)了對應的智能插幀補償技術。而隨著4K視頻內容和屏幕的爆發(fā)，桌面端游戲4K的普及以及移動端游戲720P以上渲染分辨率的普及，AI超分技術成了視覺處理上的又一大技術路線。

桌面端超分技術

在桌面端，GPU往往是AI超分技術的主力軍，而且隨著技術的迭代，主流的超分方案不再是效果欠佳的插值算法，也不需要對于應用本身進行預訓練，而是可以隨意移植到現(xiàn)有的游戲開發(fā)中去。

英偉達的DLSS技術向來被稱為目前超分技術的領頭羊，通過其GPU專有的Tensor Core，英偉達得以通過深度學習進行實時超分，甚至引入了更加復雜的算法來提升超分畫面的質量。以DLSS 3.0版本為例，英偉達為RTX40系列的GPU引入了光流幀生成算法，用于實現(xiàn)翻倍的幀率增長。

在3.5版本中，英偉達又加入了新的光線重構技術，進一步提高了性能，改善了圖像質量。這得益于英偉達內部輸入大量訓練數(shù)據(jù)打造的降噪算法，這一全新的光線重構技術訓練數(shù)據(jù)量是3.0版本的5倍，所以在超分后的降噪性能和效率上遠超上一代。

在見證了DLSS的成功后，不甘示弱的AMD也推出了FSR超分技術，如今也從第一版的空域超分算法，變?yōu)閮?yōu)化后的時域超分算法，再到如今同樣支持更低延遲的幀生成技術。相比起依賴專用硬件單元的DLSS，AMD的FSR更加開放，甚至支持非AMD的GPU。

同屬競爭關系的還有英特爾的XeSS，XeSS和DLSS 3.5一樣，同樣采用了龐大的訓練數(shù)據(jù)，但又和AMD的FSR技術一樣，支持除了英特爾Arc以外的GPU產品。不過XeSS也分為兩種變體，一種是借助Arc GPU獨有XMX指令集的方案，一種是基于DP4a指令集的通用方案，后者在4K的渲染上要略低于前者。

面對如此多的AI超分技術，彼此之間又存在一定的硬件壁壘，對于開發(fā)者而言，提供硬件支持已經(jīng)頻繁遇阻，也加大了工作量。為了解決這個問題，微軟決心從引擎上直接入手。在今年的GDC上，微軟發(fā)布了全新DirectSR API，通過與GPU硬件廠商的合作，把超分技術無縫集成在游戲中。

只需一組通用輸入和輸出，開發(fā)者就能成功實現(xiàn)對于各種超分技術的支持，包括英偉達的DLSS、AMD FSR和英特爾XeSS。微軟表示，這一新API的應用將直接通過Agility SDK更新實現(xiàn)，所以并不需要系統(tǒng)更新支持，只要是Windows 10之后的系統(tǒng)，集成了對應獨立顯示處理器的機器都能享受到AI超分技術。

值得注意的是，微軟不僅僅想從游戲內部設置中直接提供對多家超分技術的支持，更是打算直接為用戶開啟自動超分。微軟在最新的Windwos 11 24H2版本中加入了“自動SR”選項，在檢測到支持的游戲后，系統(tǒng)會自動開啟超分辨率技術。

另外，這一系統(tǒng)自帶的AI超分技術很有可能會是下一代AI PC的獨占技術，而并不是調用GPU廠商的超分技術。借助下一代AI PC上的獨立NPU，下一代Windows將得以充分利用AI算力，實現(xiàn)游戲乃至未來視頻的超分。

移動端超分技術

盡管桌面端的部分超分技術已經(jīng)開源，比如AMD的FSR 2.0，但時域超分其對硬件的要求和對渲染管線的變更，注定了其無法在移動端普及。為此智能手機SoC廠商們也都各顯神通，推出了相應的移動端超分技術。高通在去年4月份推出了全新的驍龍GSR技術，借助其Adreno GPU實現(xiàn)的單通空域超分算法，可在智能手機和XR設備上把1080p的源圖像超分至4K。

同樣在移動端發(fā)力AI超分辨率技術的還有聯(lián)發(fā)科，AI-SR以及MEMC運動補償都是其MiraVision視頻增強中用到的技術。聯(lián)發(fā)科利用GPU和APU兩者結合來動態(tài)優(yōu)化畫質和功耗。通過第五代和第六代聯(lián)發(fā)科APU，其AI-SR技術可以實現(xiàn)最高1.5倍的分辨率縮放，同時還能節(jié)省50%的功耗。

除了借助手機SoC自帶的GPU/NPU之外，也有的廠商開始考慮引入獨立的視覺處理器來實現(xiàn)AI超分。比如以今年發(fā)布的一加Ace3為例，就搭載了逐點半導體的X7 Gen2視覺處理器，從而實現(xiàn)基于高效神經(jīng)網(wǎng)絡算法的AI游戲超分。該方案也采用了分布式計算架構的方案，讓GPU只需渲染關鍵幀和低分辨率畫面，借助X7 Gen2視覺處理器來實現(xiàn)高分辨率的處理，從而減少GPU的渲染負擔。

值得一提的是，為了解決傳統(tǒng)SoC應用處理器中GPU/NPU存在多線程任務和固定渲染模式的問題，逐點半導體決定從內容渲染端到終端顯示端打通視覺處理通道。所以他們選擇了在游戲中集成手游渲染加速引擎SDK的技術路線，通過給開發(fā)人員提供這一SDK，廠商在集成這一SDK后就可以實現(xiàn)更優(yōu)質的超分效果。

顯示端超分技術

除了本身就擁有較高算力的PC和智能手機外，不少廠商也開始嘗試在顯示端做集成AI功能的顯示芯片，比如紫光展銳的超高清智能計算芯片M6780。M6780本身采用了Cortex-A76*2+A55*2的CPU方案，和Mali Natt的GPU方案，也集成了最高6.4TOPS算力的NPU。M6780除了支持AI-SR超分辨率技術外，也支持AI-PQ畫質增強、MEMC運動補償?shù)膱D像處理技術。

除此之外在汽車上，也有對應的超分方案出爐，比如早在2022年Imagination就和Visidon達成了合作，通過IMG Series4神經(jīng)網(wǎng)絡加速器和Tensor Tiling技術，將低分辨率的源數(shù)據(jù)上采樣為高分辨率輸出，從而降低視頻傳輸?shù)膸?。在汽車上，這不僅對于車載顯示至關重要，即便是對于攝像頭獲取的ADAS圖像數(shù)據(jù)，也可以充分降低SoC的內存帶寬壓力。

服務器端超分技術

除了降低端側硬件的內存帶寬外，降低網(wǎng)絡帶寬也成了服務器廠商和流媒體/直播平臺苦惱的問題。視頻商業(yè)模式的變化和用戶對高清內容的需求不斷放大，平臺方想要為用戶提供優(yōu)質圖像畫面的同時，也希望進一步降低流量費用。而云平臺也希望通過更加實惠的服務器方案，吸引更多的客戶，尤其是專為視頻平臺打造的加速服務器。

相較起其他AI超分算法而言，服務器端的超分算法并不會將畫面質量放在首位，而是優(yōu)先側重帶寬成本和實時性。為此，一些直播平臺往往都會選擇小參數(shù)的超分算法，能夠在單卡上實現(xiàn)30幀低延遲的畫質增強。以華為云的昇騰AI云服務器為例，其就支持1080p視頻/圖片的AI超分，相較傳統(tǒng)的GPU方案，其推理延時降低了60%，超分性能最高可提升至2.58倍。

AWS也推出了對應的AI視頻超分解決方案，他們通過基于自研算法預訓練好的超分辨率模型，依靠Inferentia推理加速器提供高吞吐量的推理，可將480p的分辨率超分至1080p甚至是4K分辨率，但越高的分辨率也就意味著處理原視頻的每小時成本會成倍增長。

寫在最后

以目前市面上已有的各種AI超分技術而言，無論是實用性還是技術成熟度都已經(jīng)很高了。對于桌面端用戶而言，可以進一步降低應用對顯卡的圖形性能要求；在移動端，超分技術改善視覺流暢度的同時，降低了硬件的整體功耗，提高了續(xù)航；而對于傳統(tǒng)的數(shù)字電視和車載顯示而言，超分技術釋放了端側有限的帶寬，加強了用戶體驗；在服務器端，超分算法為平臺節(jié)省了海量的流量成本。