超分辨率技術(shù)(Super Resolution),是通過(guò)硬件或軟件的方法提高圖像或視頻幀的分辨率, 通過(guò)一系列低分辨率圖像獲取到高分辨率圖像的過(guò)程。
目前超分辨率技術(shù)主要可以分為兩類,單圖像超分辨率(Single Image Super Resolution,簡(jiǎn)稱SISR)和視頻超分辨率(Video Super Resolution,簡(jiǎn)稱VSR)。超分辨率技術(shù)不僅可以應(yīng)用在一些低分辨率的老片和手機(jī)拍攝的不清晰場(chǎng)景中,也可以對(duì)多次壓縮的一些新電影進(jìn)行恢復(fù), 提高這些視頻質(zhì)量,給客戶更好的觀看體驗(yàn)。同時(shí)超分辨率技術(shù)還可以應(yīng)用在清晰的視頻源中,將視頻的分辨率從1080P提高到4K,支持視頻在更大的屏幕上播放, 提供更高清的視野。比如左圖是原始圖片,右圖是經(jīng)過(guò)超分技術(shù)修復(fù)后的圖像。超分辨率可以通過(guò)多種技術(shù)來(lái)實(shí)現(xiàn),其中包括傳統(tǒng)的插值方法和基于深度學(xué)習(xí)的方法。
基于傳統(tǒng)插值的實(shí)現(xiàn)
傳統(tǒng)的插值方法(如最鄰近插值、雙線性插值或插雙三次插值)往往使用相鄰幀之間的像素插值來(lái)增加分辨率。如下圖所示:
插值算法有它的優(yōu)勢(shì)和弊端,但由于這種方法會(huì)導(dǎo)致圖像模糊和細(xì)節(jié)丟失,應(yīng)用效果不如基于深度學(xué)習(xí)的實(shí)現(xiàn)。
基于深度學(xué)習(xí)的實(shí)現(xiàn)近年來(lái),基于深度學(xué)習(xí)的方法在視頻超分辨率中取得了顯著的進(jìn)展。這些方法使用深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)或生成對(duì)抗網(wǎng)絡(luò)(GAN)等技術(shù),通過(guò)學(xué)習(xí)大量訓(xùn)練數(shù)據(jù)的特征和映射關(guān)系,實(shí)現(xiàn)從低分辨率到高分辨率的映射。這些網(wǎng)絡(luò)可以學(xué)習(xí)到更復(fù)雜的圖像特征,并生成更逼真的高分辨率視頻。視頻幀與幀之間存在著幀間壓縮,而超分算法正是利用了這些幀間信息,從不同的角度進(jìn)行還原重建,從而生成高分辨率的視頻??傊?,視頻超分辨率在許多應(yīng)用領(lǐng)域都有廣泛的應(yīng)用,包括高清視頻重建、視頻增強(qiáng)、監(jiān)控系統(tǒng)、視頻會(huì)議等。它可以提高視頻的觀看體驗(yàn),使觀眾能夠獲得更清晰、更細(xì)節(jié)豐富的視頻內(nèi)容。
-
視頻
+關(guān)注
關(guān)注
6文章
1925瀏覽量
72716 -
分辨率
+關(guān)注
關(guān)注
2文章
1015瀏覽量
41829 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5430瀏覽量
120787
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論