像在word里一樣便捷地編輯圖像中的文字

你想像編輯word文本一樣便捷地編輯照片中的文字嗎？像這樣:

和這樣:

讓別人感覺(jué)不到任何人為編輯的跡象：

近日來(lái)自印度的研究人員們近日提出了一種基于自編碼模型的字符替換方法，通過(guò)字符生成、顏色調(diào)節(jié)和重置完成對(duì)圖像中目標(biāo)文字的修改，并且能生成十分自然的圖像，圖像中被編輯過(guò)的文字毫無(wú)違和感。圖片上的文字信息對(duì)于我們理解圖片十分重要。字符的缺失和改變有的時(shí)候會(huì)嚴(yán)重的影響我們對(duì)于圖像內(nèi)涵的理解。除了會(huì)造成忍俊不禁的錯(cuò)別字，有時(shí)候還會(huì)讓人們誤解造成嚴(yán)重的損失！

另一方面，對(duì)于不同視角、環(huán)境下得到字符缺失的圖片，如何進(jìn)行有效的編輯和修復(fù)也是視覺(jué)領(lǐng)域一個(gè)重要的問(wèn)題,甚至對(duì)于古文獻(xiàn)修復(fù)和案件偵破都有著重要意義。

像編輯文本一樣編輯圖像中的文字

如果我們能夠像文本編輯器一樣編輯圖像中的文字就好了。先前的人員提出過(guò)基于字符幾何特征的合成方法，但卻缺乏泛化性。但隨著深度學(xué)習(xí)的發(fā)展，研究人員提出了利用GAN來(lái)進(jìn)行字符生成，但基于GAN生成字符進(jìn)行編輯的方法也需要面臨一系列問(wèn)題。首先基于GAN的生成需要對(duì)目標(biāo)字符進(jìn)行精確的識(shí)別，但字符識(shí)別本身就是一個(gè)復(fù)雜的問(wèn)題，任何誤差都會(huì)在整個(gè)過(guò)程積累十分有可能造成字符編輯的錯(cuò)誤；其次，字符在同一張圖像內(nèi)具有多種字體類型，GAN模型需要對(duì)字體進(jìn)行多次觀察，并在生成前對(duì)字符進(jìn)行較為嚴(yán)格的字體去失真過(guò)程，這對(duì)于不同情況下的字符編輯來(lái)說(shuō)十分復(fù)雜。

所以研究人員聚焦字符級(jí)別的生成模型，來(lái)代替單詞級(jí)別的生成模型最大化模型的靈活性和適應(yīng)性。那么為了編輯圖像中的文字，怎樣才能又快又好呢？你需要四個(gè)步驟：定位到你要修改的字符、生成目標(biāo)字符、調(diào)整目標(biāo)字符的顏色、將字符融合回圖像中去。這一工作的核心在于解決如何生成具有相同字體的目標(biāo)字符，并為它賦予原字符相同的顏色風(fēng)格。為此，研究人員提出了下圖所示的FANet和ColorNet聯(lián)合完成。

首先選取需要修改的字符，并利用算法將原字符轉(zhuǎn)變?yōu)槎祱D像輸入網(wǎng)絡(luò)。FANet首先通過(guò)一個(gè)三層卷積和兩次全連接將輸入字符編碼到512長(zhǎng)度的向量上，其中包含了字體的風(fēng)格信息。此外，目標(biāo)字符的編碼通過(guò)26個(gè)字符的獨(dú)熱編碼轉(zhuǎn)換到512維的編碼上與先前得到的輸入字符圖像編碼拼接得到1024維的隱空間編碼。隨后利用兩個(gè)全連接和三次上采樣最終得到與原字符相同風(fēng)格的目標(biāo)字符。但這時(shí)候的字符還沒(méi)有顏色。那么就把原字符的顏色信息拿過(guò)來(lái)，繼續(xù)進(jìn)行處理。通過(guò)編碼器解碼器的結(jié)構(gòu)，將原字符上的顏色信息遷移到了新字符上。最后對(duì)原圖的對(duì)應(yīng)區(qū)域進(jìn)行背景去除，區(qū)域連續(xù)性處理，將得到的新字符放到合適的位置就可以得到修改后的圖片了！來(lái)看看效果~~

這本jave書(shū)有點(diǎn)厲害！

看到這些圖，你可能會(huì)覺(jué)得這些路標(biāo)好像和上次看到的不一樣了！

為了訓(xùn)練這個(gè)網(wǎng)絡(luò)，研究人員們利用了谷歌字符庫(kù)中的1000中字體，其中訓(xùn)練集中包含了67.6萬(wàn)個(gè)數(shù)據(jù)，驗(yàn)證集則有20.2萬(wàn)個(gè)數(shù)據(jù)。

最終的網(wǎng)絡(luò)不僅可以編輯字符，同時(shí)還能由輸入的單一字符生成出全部26個(gè)字母的新字體，下圖中的的字體都是由一個(gè)輸入字符生成出來(lái)的。

同樣顏色也可以遷移，下圖中的第二行表示輸入字符的顏色，第三行就是將第二行的顏色遷移到第一行字符的結(jié)果。

中文字符

那么按道理，我們也可以開(kāi)心的編輯照片中的漢字了。華中科技大學(xué)和曠視去年就提出了一篇可以生成各種風(fēng)格漢字書(shū)法的工作，利用生成器和判別器實(shí)現(xiàn)了中文書(shū)法字符的合成。

這是文章中的網(wǎng)絡(luò)結(jié)構(gòu)：

和最后得到的結(jié)果：

我們可以基于同樣的思路將圖像中的中文字符也進(jìn)行轉(zhuǎn)換，把照片中的漢字都變成優(yōu)秀的書(shū)法作品啦。