介紹一個用于點云生成的概率模型

摘要??

我們提出了一個用于點云生成的概率模型，它可以被用于多種 3D 視覺任務(wù)的基礎(chǔ)，例如形狀補全、上采樣、合成和數(shù)據(jù)增強。受非平衡熱力學(xué)中擴散過程的啟發(fā)，我們將點云中的點視為與熱庫（heat bath）接觸的熱力學(xué)系統(tǒng)中的粒子，其從原始分布擴散成為噪聲分布。因此，點云生成相當(dāng)于學(xué)習(xí)將噪聲分布轉(zhuǎn)換為所需形狀分布的反向擴散過程。

具體來說，我們提出將點云的反向擴散過程建模為以某種隱式形狀（shape latent）為條件的馬爾可夫鏈。我們推導(dǎo)出訓(xùn)練時封閉形式的變分邊界，并提供了模型的實現(xiàn)。實驗結(jié)果表明，我們的模型在點云生成和自動編碼方面取得了有競爭力的表現(xiàn)。

主要貢獻(xiàn)??

文章受非平衡熱力學(xué)中的擴散過程啟發(fā)，提出了一種新的點云概率生成模型。 ? 作者從點云基于形狀的條件似然的變分下限推導(dǎo)出一個易于處理的訓(xùn)練目標(biāo)。

大量實驗表明我們的模型實現(xiàn)了在點云生成和自動編碼有競爭力的性能

方法概述
? ????
本文中作者將點云看作是從概率分布中取樣生成的，每一個點都是該概率分布的獨立同分布（i.i.d）采樣。類似于圖像的擴散概率模型，當(dāng)我們向點云引入噪音時，點云會逐步從與形狀有關(guān)的復(fù)雜分布變?yōu)楦咚狗植嫉脑胍簦@一過程被稱作正向擴散過程。點云的生成模型可以被視作是如圖二所示的逆向擴散過程：根據(jù)一個高斯分布取樣作為噪音點云，訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)以形狀為條件逐步對該噪音點云減噪，直至點云恢復(fù)其本來的形狀。
???

Figure 2 展示了從噪音點云逆擴散生成點云的過程可以由一個馬爾科夫鏈模型表示。點云中的每一個點由 x(T) 開始以轉(zhuǎn)移概率 p****θ(x(t-1)|x(t),z) 逐步減噪（逆擴散）為目標(biāo)點云 x(0)。其中 θ 表示可學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)參數(shù)參數(shù)，z 表示與形狀有關(guān)的潛變量。

生成點云時，從正態(tài)分布取樣w，經(jīng)先驗flow模型映射為形狀變量z。同時從正態(tài)分布取樣噪音點云 x(T)。通過一系列逆向擴散過程，噪音點云以形狀z為條件逐漸減噪為目標(biāo)點云 x(0)。

????

訓(xùn)練時，數(shù)據(jù)集中的點云經(jīng)過編碼器 φ 編碼為形狀潛碼 z 正態(tài)分布的均值和方差，再使用與變分編碼器（VAE）中的重新參數(shù)化技巧相同的方式取樣形狀潛碼 z。如下圖所示，輸入點云隨后經(jīng)過一系列前向擴散過程逐漸變?yōu)樵胍酎c云。訓(xùn)練目標(biāo)函數(shù)采用條件似然概率的變分下限，以最大化似然訓(xùn)練數(shù)據(jù)集的似然概率。

????

需要注意的是，變分自動編碼器VAE的先驗概率選用正態(tài)分布，本文應(yīng)用 Flow 模型將簡單的正態(tài)分布映射 p(w) 到更復(fù)雜的分布模型 p(z)。訓(xùn)練時，q(z|x(0) 經(jīng)過逆向的 Flow 映射回 w， 損失函數(shù)包含 w 的先驗概率分布和后驗概率分布之間 KL 散度。

實驗結(jié)果

? ????

文章選用 ShapeNet 數(shù)據(jù)集進(jìn)行點云生成實驗、點云重建以及點云特征提取實驗。 Table 1 總結(jié)了擴散概率模型與包括GAN、Flow模型在內(nèi)的其他點云生成方法相比在最小匹配距離 (MMD), 覆蓋分?jǐn)?shù) (COV), 最近鄰分類器準(zhǔn)確率(1-NNA)以及 Jenson-Shannon 散度 (JSD) 上可以 SOTA 方法媲美。

????

下圖展示了一些生成點云的樣例，包含了飛機和椅子兩個分類。

???

Table 2 列出了擴散概率模型自動編碼重建性能。其重建點云與原始點云之間的 Chamfer 距離(CD) 和 動土距離 (MD) 也可以達(dá)到與 SOTA 相近的數(shù)值。 ????

下圖給出了幾個點云重構(gòu)的例子，最左側(cè)一列是真實點云，然后依次是擴散模型、ShapeGF 以及 AtlasNet。

???

Table 3 顯示擴散概率模型與其他模型在表征學(xué)習(xí)方面的比較。只使用一個線性SVM作為分類器，擴散概率模型學(xué)習(xí)的表征在ModelNet10和ModelNet40數(shù)據(jù)集上分別可以達(dá)到94.2%和87.6%的準(zhǔn)確率，與SOTA方法相近或更好。 ???

Figure 6展示在潛變量空間插值變換獲得相應(yīng)點云的變化：

總結(jié)

文章將擴散概率模型用于點云生成，推理時以形狀采樣為條件將噪音點云逆向擴散為目標(biāo)點云；訓(xùn)練時將輸入正向擴散為噪音點云，以從點云似然變分下限推導(dǎo)出的損失函數(shù)訓(xùn)練模型。? 實驗表明這樣的擴散模型實現(xiàn)了在點云生成、自動編碼以及表征學(xué)習(xí)任務(wù)實現(xiàn)了有競爭力的性能。



審核編輯：劉清