一個名為Metaverse的工具來幫助人們快速生成逼真的訓(xùn)練數(shù)據(jù)

從事過計算機視覺任務(wù)的小伙伴對于數(shù)據(jù)一定有著難以言說的情感。數(shù)據(jù)集的大小和質(zhì)量直接影響著算法的精度和性能。而且冗長的、海量的圖像標(biāo)注工作也讓很多中小團隊對于視覺任務(wù)的訓(xùn)練打起了退堂鼓。此外對于物體的位子，表面法向量以及深度等信息，對于人工來說幾乎是無法很容易地進行標(biāo)注。

為了解決這一問題，來自Greppy研究人員提出了一個名為Metaverse的工具來幫助人們快速生成逼真的訓(xùn)練數(shù)據(jù)。它可以基于CAD模型和渲染、方便的創(chuàng)建出逼真豐富的數(shù)據(jù)，同時生成RGB、深度圖、法向量圖、位姿標(biāo)注、對象及其每一部分的掩膜。

合成數(shù)據(jù)的想法由來已久，在github上有很多類似的項目來生成各種各樣的數(shù)據(jù)，從基于統(tǒng)計的方法到GAN應(yīng)有盡有，但這些方法都存在各種不用的問題。

有的算法需要使用者具有一定的編程能力，而有的算法生成的結(jié)果卻又不是那么逼真。我們真正需要的是一個能夠方便高效地生成大規(guī)模訓(xùn)練數(shù)據(jù)來訓(xùn)練網(wǎng)絡(luò)完成對新物體的計算機視覺任務(wù)。同時還需要在沒有光線追蹤的情況下實現(xiàn)對于目標(biāo)圖像逼真的生成，這也是需要克服的一大挑戰(zhàn)。

為了解決這些問題，研究人員開發(fā)了這一基于網(wǎng)頁端的工具，只需要將目標(biāo)物體的3D模型上傳到對應(yīng)的界面應(yīng)用不同的材料來對它進行更加逼真的表現(xiàn)，隨后進行表面材料選取和光照渲染即可。

我們以咖啡機作為例子來看看如何使用這一工具的。如果我們想要訓(xùn)練計算來識別咖啡機，我們就需要上傳下圖所示的兩個咖啡壺的CAD模型，這是由于咖啡機可能是打開也可能是關(guān)閉的。

下一步我們只需要為咖啡機的每個表面設(shè)置預(yù)先設(shè)計的表面材料，點點鼠標(biāo)就可以完成材料的配置。為了滿足需求，研究人員還提供了很多不同逼真材料的庫供用戶使用。同時也可以根據(jù)需要設(shè)計自己的材料。

這一軟件也為用戶提供好了方便標(biāo)注物體每一部分的工具，我們可以對感興趣的部分進行點選。你不需要會用3D建模軟件，也不需要編程即可完成。

最后一步也是最有意思的一步，就是選擇你需要采集圖像的“相機”了。這一工具需要根據(jù)相機的分辨率、參數(shù)、視野以及雙目立體參數(shù)來渲染出更加精確的圖像。目前網(wǎng)站剛剛到達beta版本只包含了兩個相機模型：Zed mini和Intel D435，但是用戶可以自己創(chuàng)建個性化的相機模型來生成圖像。

然后剩下的就是交給電腦的工作了。工具可以自動地生成成千上萬的場景，包括了不同的位姿、數(shù)量、相機角度和光照條件下的目標(biāo)。所有生成的結(jié)果都進行了像素級的自動標(biāo)注。后臺通過GPU云服務(wù)進行一段時間的渲染，然后就可以得到自己的的數(shù)據(jù)集了。

利用這些數(shù)據(jù)，就可以進行深度學(xué)習(xí)任務(wù)啦，無論是檢測、分割都可以有豐富的數(shù)據(jù)來上手。

這一工具對于想要訓(xùn)練針對性的物體、零件或者自己設(shè)計的工件等具有很大的作用，在擁有設(shè)計的CAD模型后就可以方便的生成海量數(shù)據(jù)來實現(xiàn)自己的demo。