0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

CVPR2023 I BUFFER:點云配準中卓越精度、高效性和泛化性的完美平衡

3D視覺工坊 ? 來源:3D視覺工坊 ? 2023-10-16 17:18 ? 次閱讀

edfaf6da-6bf8-11ee-939d-92fbcf53809c.png

一個理想的點云配準框架應(yīng)具備卓越的精度、可接受的效率和強大的泛化能力。然而,這是非常具有挑戰(zhàn)性的,因為現(xiàn)有的配準技術(shù)要么不夠準確,要么效率低下,要么泛化能力差。如何在這三個關(guān)鍵要素之間取得令人滿意的平衡仍然是一個懸而未決的問題。在本文中提出了BUFFER,一種點云配準方法,用于平衡精度、效率和泛化能力。本文方法的關(guān)鍵在于同時利用點對點和面對面的技術(shù),同時克服了固有的缺點。與現(xiàn)有方法的簡單組合不同,本文網(wǎng)絡(luò)的每個組件都經(jīng)過精心設(shè)計,以解決特定的問題。具體而言,本文首先引入了一個點對點學習器,通過預測關(guān)鍵點并通過估計點的方向來改善特征的表示能力,從而提高了計算效率。然后,本文部署了一個面對面嵌入器,利用輕量級的本地特征學習器來提取高效且通用的面對面特征。此外,本文還提出了一個內(nèi)點生成器,它結(jié)合了簡單的神經(jīng)層和通用特征,用于搜索內(nèi)點對應(yīng)關(guān)系。在真實世界的場景中進行的大量實驗證明,本文的方法在精度、效率和泛化性方面兼顧了最佳表現(xiàn)。特別是,本文的方法不僅在未見過的場景中取得了最高的成功率,而且?guī)缀醣葘W⒂诜夯膹娀€方法快了近30倍。

1 前言

點云配準在 LiDAR SLAM、3D 重建和機器人導航中發(fā)揮著關(guān)鍵作用。理想的配準框架不僅需要準確有效地配準幾何形狀,而且在不同傳感器獲取的未見過的場景中也需要準確有效地配準幾何形狀。然而,由于數(shù)據(jù)質(zhì)量不均勻(例如噪聲分布、密度不均勻、視角不同、不同傳感器之間的域間隙),如何在效率、準確性和泛化之間實現(xiàn)令人滿意的平衡仍是一個具有挑戰(zhàn)的問題。這里也推薦「3D視覺工坊」新課程三維點云處理:算法與實戰(zhàn)匯總》。

現(xiàn)有的配準方法主要可分為基于對應(yīng)關(guān)系的方法和無對應(yīng)關(guān)系的方法。通過建立一系列可靠的對應(yīng)關(guān)系,基于對應(yīng)關(guān)系的方法通常比無對應(yīng)關(guān)系的方法具有更好的配準性能,特別是在大規(guī)模場景中。然而,這些基于對應(yīng)關(guān)系的方法仍然沒有為大規(guī)模的現(xiàn)實應(yīng)用做好準備,因為它們要么不夠準確,要么效率低下,要么泛化性差。

總體而言,現(xiàn)有基于對應(yīng)關(guān)系方法的局限性在于兩個方面。首先,目前還沒有統(tǒng)一、高效、通用的特征學習框架。許多 patch-wise 方法通常采用復雜的網(wǎng)絡(luò)和復雜的步驟來編碼局部 3D patch 的細粒度幾何形狀。得益于固有的對遮擋具有魯棒性且易于區(qū)分的局部特征,patch-wise方法通常具有良好的泛化能力,但效率較低。為了提高計算效率,幾種逐點方法采用分層架構(gòu)來連續(xù)采樣原始點云。然而,層次結(jié)構(gòu)傾向于捕獲全局上下文而不是局部幾何,這使得學習的逐點特征容易同質(zhì)化并且難以正確匹配,特別是對于不可見的上下文。其次,缺乏高效、通用的對應(yīng)關(guān)系查找機制。大多數(shù)基于對應(yīng)關(guān)系的配準利用 RANSAC 或從粗到細的匹配策略來搜索可靠的對應(yīng)關(guān)系??紤]到 RANSAC 算法的效率與內(nèi)點率有關(guān),當內(nèi)點率很低時,該方法將非常耗時。此外,由于依賴全局上下文匹配,從粗到細的策略無法推廣到未見領(lǐng)域中。

最近的一些工作還嘗試利用無監(jiān)督域適應(yīng)技術(shù)或簡化網(wǎng)絡(luò)架構(gòu)以實現(xiàn)泛化性和效率之間更好的平衡。然而,這些方法要么需要額外的目標數(shù)據(jù)集進行訓練,要么犧牲學習模型的表示能力。總的來說,效率和泛化性似乎是相互矛盾的,因為現(xiàn)有技術(shù)本質(zhì)上只專注于一個領(lǐng)域,并且不能相互補充。

在本文中,通過結(jié)合 point-wise 和 patch-wise 方法,在效率和泛化性方面實現(xiàn)了完美的平衡。此外還提出了一種有效且通用的搜索機制來提高對應(yīng)關(guān)系的內(nèi)點率。所提出的配準框架稱為 BUFFER,主要由 Point-wise Learner、Patch-wise Embedder 和 Inliers Generator 組成。輸入點云首先被輸入到逐點學習器中,其中使用新穎的等變?nèi)矸e架構(gòu)來預測逐點顯著性和方向,進一步降低計算成本并增強特征的表示能力。通過選定的關(guān)鍵點和學習的方向,Patch-wise Embedder 利用輕量級的基于 patch 的特征學習器,即 MiniSpinNet,來提取高效且通用的局部特征和圓柱形特征圖。通過匹配局部特征,可以獲得一組初始對應(yīng)關(guān)系以及相應(yīng)的圓柱特征圖。然后將這些通用的圓柱形特征圖輸入 Inlier Gener-ator,它使用輕量級 3D 圓柱卷積網(wǎng)絡(luò)預測每個對應(yīng)關(guān)系的剛性變換,并通過尋求最佳變換來生成最終可靠的對應(yīng)關(guān)系集,然后使用 RANSAC來估計更精細的變換。

實際上,如果簡單地結(jié)合現(xiàn)有方法,在準確性、效率和泛化性之間取得令人滿意的平衡是極其困難的。例如,點式方法 Predator 很容易受到看不見的場景的影響,而補丁式方法 SpinNe 則非常耗時。當直接將它們組合在一起時,整個框架既不高效也不通用。相比之下,本文提出的 BUFFER 中的每個組件都經(jīng)過精心設(shè)計來解決特定問題,因此更有可能實現(xiàn)卓越的平衡。

僅在 3DMatch 數(shù)據(jù)集上進行訓練,本文的 BUFFER 不僅在 3DMatch 數(shù)據(jù)集上實現(xiàn)了 92.9% 的最高配準召回率,而且在未見過的室外 ETH 數(shù)據(jù)集上也達到了 99.30% 的最佳成功率(顯著)超過最佳逐點基線 GeoTrans 近 10%)。同時,本文的 BUFFER 幾乎比 patch-wise 方法快一個數(shù)量級。大量實驗證明了本文方法的卓越性能和效率。

總的來說,本文的貢獻有三方面:

? 本文提出了一種新的點云配準框架,巧妙地結(jié)合了 point-wise 和 patch-wise 方法,在準確性、效率和泛化性方面達到了完美的平衡。

? 本文引入了等變?nèi)矸e架構(gòu)來預測逐點方向和顯著性。

? 引入新的對應(yīng)關(guān)系搜索策略以提高初始對應(yīng)關(guān)系的內(nèi)點率。

2 相關(guān)背景

基于對應(yīng)的配準首先提取點云特征,然后通過特征匹配在兩次掃描之間建立明確的點對應(yīng)關(guān)系,最后估計剛性變換。從特征的角度來看,現(xiàn)有的基于對應(yīng)關(guān)系的配準方法可以大致分為兩類:patch-wise 和 point-wise 方法。patch-wise 方法利用共享權(quán)重網(wǎng)絡(luò)來表征以關(guān)鍵點為中心的局部 3D patch,為每個 patch 生成稀疏描述。逐點方法。point-wise 方法基于分層架構(gòu)在一次前向傳遞中處理整個點云,為每個片段生成密集的描述。無對應(yīng)關(guān)系配準意味著直接估計兩片點云之間的剛性變換,通常通過建立端到端的可微分網(wǎng)絡(luò)來實現(xiàn)。根據(jù)網(wǎng)絡(luò)架構(gòu)的不同,現(xiàn)有的無對應(yīng)關(guān)系配準方法可以分為基于軟對應(yīng)關(guān)系和基于直接回歸的配準方法。盡管沒有明確的對應(yīng)關(guān)系,基于軟對應(yīng)的方法通常依賴特征之間的軟對應(yīng)關(guān)系,然后是利用 SVD 來生成剛性變換。基于直接回歸方法的目的是在沒有任何硬或軟對應(yīng)關(guān)系的條件下回歸剛性變換。

現(xiàn)有方法在配準精度方面表現(xiàn)出令人滿意的性能,但仍無法實現(xiàn)效率和泛化性之間的完美平衡。本文通過巧妙地集成 patch-wise 和 point-wise 網(wǎng)絡(luò)并設(shè)計一個新的3D配準框架來解決這個問題,其中 point-wise 組件主要負責提高效率并使 patch-wise 模塊能夠提取通用特征。

3 方法

3.1. Problem Statement

給定兩個部分重疊的點云 和 ,點云配準的目標是計算 和 之間的最優(yōu)剛性變換 。如果子集 和 之間存在真實的一一對應(yīng)關(guān)系,配準問題可以重新表述為最小化問題:

其中 是正確匹配對應(yīng)關(guān)系的數(shù)量, 是置換矩陣。

為了獲得點子集 和 ,本文提出了一種新的配準框架,稱為 BUFFER,它主要由 Point-wise Learner、Patch-wise Embedder 和 Inliers Generator 組成。如圖2所示。

ee0627f8-6bf8-11ee-939d-92fbcf53809c.png

圖 2. 本文所提點云配準框架 BUFFER 的總體結(jié)構(gòu)。

3.2. Point-wise Learner

Point-wise Learner 旨在預測旋轉(zhuǎn)不變關(guān)鍵點和旋轉(zhuǎn)等變方向,進一步提高配準效率和準確性。如圖2所示,它由兩個組件組成。等變?nèi)矸e網(wǎng)絡(luò)。為了獲得魯棒的關(guān)鍵點和點方向,第一步是構(gòu)建主干網(wǎng)絡(luò)來學習密集和旋轉(zhuǎn)等變特征。現(xiàn)有的方法如要么具有極高的空間和時間復雜度,要么依賴于對平移敏感的全局點坐標。本文設(shè)計了一種輕量且對平移不變的等變?nèi)矸e網(wǎng)絡(luò)(EFCN)。為了保證旋轉(zhuǎn)等變性和平移不變性,本文探索了點云 的以下三個幾何屬性:

相對坐標:

鄰域中心:

初始方向: 為最小特征值對應(yīng)的特征向量。

這里,表示 在支撐半徑 內(nèi)的所有鄰近點。基于此,第 層中點 的等變卷積可以重新表述為:

其中是權(quán)重矩陣,表示等變映射。

由于與 SO(3) 旋轉(zhuǎn)等變且對平移不變,因此整個卷積網(wǎng)絡(luò)也具有相同的不變性和等變性。本文的 EFCN 基于 KPConv 的分層架構(gòu)(詳細信息在補充材料中)。與現(xiàn)有的等變網(wǎng)絡(luò)相比,本文的EFCN更加高效并且可以應(yīng)用于場景級任務(wù)。盡管分層架構(gòu)中的采樣/上采樣不可避免地會帶來一些定量誤差,但其背后嚴格的數(shù)學模型已經(jīng)為網(wǎng)絡(luò)學習等變特征提供了強大的歸納偏差。點云的 EFCN 是相同的。等變和不變分支。下一步是預測旋轉(zhuǎn)不變關(guān)鍵點和旋轉(zhuǎn)等變方向。為此,本文將最后一個卷積層中的等變特征輸入到兩個獨立的解碼器分支中,以產(chǎn)生密集方向和顯著性。如圖 2 所示。同樣的操作也適用于點云 。

受益于每層的等變性,最終學習到的方向自然與 SO(3) 旋轉(zhuǎn)等變。在另一個不變分支中,我們采用與前任工作相同的不變變換來產(chǎn)生不變信號。通過扁平化并將其輸入三個 MLP 層,然后進行 Softplus 激活函數(shù),預測最終的逐點顯著性,其中具有較高顯著性的個點被視為關(guān)鍵點。

綜上所述,基于本文的 EFCN,Point-wise Learner 可以預測密集的顯著性,以選擇更容易匹配的關(guān)鍵點,從而提高配準效率。同時,Point-wise Learner 能夠?qū)W習魯棒的點方向,這有利于后續(xù)的 Patch-wise Embedder 學習高度描述性的特征。

3.3. Patch-wise Embedder

該模塊旨在學習所選關(guān)鍵點的高效且通用的特征。它包含兩個關(guān)鍵組件,如下所述。

Mini-SpinNet.本文利用局部特征學習器,即 SpinNet,來提取一般特征。然而,普通的 SpinNet 非常耗時且占用大量內(nèi)存。為了緩解這些問題,本文開發(fā)了一種輕量級架構(gòu),稱為 Mini-SpinNet 以提取一般的局部補丁特征。

Reference Axes.在獲得效率極大提升的同時,必須承認這種輕量級結(jié)構(gòu)不可避免地惡化了特征的可辨別性。為了補償性能,本文采用學習的方向作為參考軸,這比普通 SpinNet 中使用的手工制作的 Z 軸更具可重復性和魯棒性,以提取更獨特的特征。

最后,可以獲得一組通用局部特征和圓柱特征圖。通過在和之間進行特征匹配,可以建立一系列初始對應(yīng)關(guān)系,如圖 2 所示??偟膩碚f,本文的 Patch-wise Embedder 不僅輕量級且高效,而且還可以學習獨特和通用的局部特征用于特征匹配。

3.4. Inliers Generator

該模塊旨在從一系列初始對應(yīng)關(guān)系中搜索內(nèi)部點,提高整個框架的配準性能。如圖 2 所示,它由兩個組件組成,如下所述。

變換估計。在這里,從特征的角度來處理內(nèi)點搜索問題。給定初始點對應(yīng)關(guān)系的列表,對于每對對應(yīng)關(guān)系,還獲得兩個圓柱特征圖,其中表示高度,寬度,以及展開的圓柱形特征圖的特征維數(shù)。根據(jù) 3.3 節(jié),可以知道以關(guān)鍵點為中心的局部補丁使用旋轉(zhuǎn)矩陣與學習的方向預先對齊。因此,和之間僅存在 SO(2) 旋轉(zhuǎn)?;诖?,本文的目標是估計兩個圓柱形特征圖之間的 SO(2) 旋轉(zhuǎn),從而恢復兩個匹配的局部補丁之間的剛性變換。

受立體匹配中視差回歸的啟發(fā),首先通過計算在不同寬度值下計算的兩個圓柱形特征圖之間的差異來構(gòu)造4D匹配 cost volume。請注意,cost volume 在圓柱體上 360° 內(nèi)是連續(xù)的。為了保留此特性,利用輕量級 3D 圓柱卷積網(wǎng)絡(luò) (3DCCN) 進行成本聚合。經(jīng)過 softmax 運算,獲得每個偏移的概率。然后通過 softargmax 運算計算預測偏移:因此,兩個圓柱特征圖和之間的 SO(2) 旋轉(zhuǎn)可以通過以下方式求出:

此外,為每對對應(yīng)關(guān)系產(chǎn)生旋轉(zhuǎn)矩陣和平移向量以用于內(nèi)點搜索。內(nèi)點搜索。由于內(nèi)點對應(yīng)關(guān)系具有相似的估計變換,因此很容易從許多假定的對應(yīng)關(guān)系中找到它們。具體來說,首先根據(jù)每個變換滿足的對應(yīng)數(shù)量尋求最佳變換,其中是指示函數(shù),表示歐氏距離,表示內(nèi)點距離閾值。然后獲得內(nèi)部對應(yīng)關(guān)系,

總的來說,本文的內(nèi)點生成器首先利用簡單的神經(jīng)層和一般的圓柱特征來估計每對對應(yīng)關(guān)系的粗略剛性變換,然后根據(jù)內(nèi)點之間的變換相似性搜索可靠的對應(yīng)關(guān)系。內(nèi)部值生成器從特征級別而不是對應(yīng)級別修剪異常值。因此,所提出的 Inliers Generator 與現(xiàn)有的異常值拒絕方法并不矛盾,并且還可以與這些方法相結(jié)合來估計更精細的剛性變換。

3.5. Training and Inference

損失函數(shù)。本文使用由四項組成的損失函數(shù)來訓練整個模型:。給定一組真實對應(yīng)關(guān)系和真實變換,可以獲得相應(yīng)的方向由逐點學習器。受概率倒角損失的啟發(fā),本文定義了概率余弦損失函數(shù)作為學習方向的監(jiān)督:其中是真實匹配對應(yīng)關(guān)系的數(shù)量,是可學習的參數(shù)。接下來,按照 D3Feat 利用對比損失進行特征學習,利用檢測損失進行關(guān)鍵點檢測。為了訓練所提出的 Inliers Generator,首先計算兩個圓柱形特征圖之間的真實偏移,然后采用 L1 損失作為變換估計監(jiān)督:假設(shè)生成。本文發(fā)現(xiàn) RANSAC 算法對于具有高內(nèi)點率的對應(yīng)關(guān)系非常有效。在整個注冊框架中, RANSAC 的時間消耗幾乎可以忽略不計。因此,利用 RANSAC 計算精確的剛性變換。

4 實驗

在本節(jié)中,首先測試訓練集和測試集屬于同一域時 BUFFER 的配準性能。然后在未見過的領(lǐng)域進行廣泛的比較實驗以評估泛化性。最后,進行了一組消融研究。

4.1. Datasets and Settings

選擇四個數(shù)據(jù)集,即室內(nèi) 3DMatch 和 3DLoMatch 、室外KITTI 和 ETH 來評估所有方法的配準性能。在 3DMatch 和 3DLoMatch 數(shù)據(jù)集上,使用注冊召回(RR)作為評估指標。

在 KITTI 和 ETH 數(shù)據(jù)集上,均使用相對平移誤差(RTE)、相對旋轉(zhuǎn)誤差(RRE)和成功率作為評估指標。實施細節(jié)。BUFFER 是用 PyTorch 實現(xiàn)的。為了保證公平性,利用基線發(fā)布的代碼和訓練模型進行對比實驗。所有方法均使用 PyTorch 實現(xiàn),并在具有 Intel Xeon CPU @2.30GHZ 和 NVIDIA RTX 3090 GPU 的計算機上運行。

4.2. Evaluation on Datasets of Same Domains

室內(nèi) 3DMatch 數(shù)據(jù)集的結(jié)果。將所提出的 BUFFER 與在 3DMatch 和 3DLoMatch 數(shù)據(jù)集上注冊召回和運行時間方面最先進的方法進行了比較。如表 1 所示, BUFFER 在 3DMatch 數(shù)據(jù)集上實現(xiàn)了最高的配準召回率和顯著的計算效率。得益于高效的子流形稀疏卷積,F(xiàn)CGF 是最快的方法。然而,F(xiàn)CGF 實現(xiàn)的注冊召回率幾乎是所有方法中最差的,比 BUFFER 低了近 8%。在低重疊 3DLoMatch 數(shù)據(jù)集上, BUFFER 的結(jié)果與最先進的方法相當。特別是, BUFFER 是最輕量級的方法,比普通 SpinNet 快約 35 倍。

戶外 KITTI 數(shù)據(jù)集的結(jié)果。將 BUFFER 與 KITTI 數(shù)據(jù)集上的強基線進行比較,如表 2 所示。很明顯, BUFFER 實現(xiàn)了最高的成功率,并且是最輕量級的模型且效率很高。雖然 FCGF 比BUFFER 更快,但其注冊成功率明顯低于 BUFFER 15.86%。還觀察到所有方法在 KITTI 數(shù)據(jù)集上花費更多時間來注冊點云,而不是在 3DMatch 數(shù)據(jù)集上。這是因為室外KITTI數(shù)據(jù)集包含更大的場景和更多的采樣點。

ee1bb816-6bf8-11ee-939d-92fbcf53809c.png

4.3. Generalizing to Unseen Domains

為了廣泛評估所提出的 BUFFER 在未知領(lǐng)域的泛化能力,進行了三組實驗:從室內(nèi)到室外、從室外到室內(nèi)、從室外到室外的泛化。在每組實驗中,所有方法都在一個數(shù)據(jù)集上進行訓練,然后直接在其他未見過的數(shù)據(jù)集上進行測試。

ee27c700-6bf8-11ee-939d-92fbcf53809c.png

從室內(nèi) 3DMatch 到室外 ETH 和 KITTI。表3和表4分別列出了從3DMatch到ETH和從3DMatch到KITTI的泛化結(jié)果??梢宰⒁獾?,當直接推廣到未見過的數(shù)據(jù)集時,所有逐點方法都表現(xiàn)出較低的成功率。這主要是因為他們采用分層網(wǎng)絡(luò)架構(gòu)來學習特征描述符,這不利于泛化。

還值得注意的是,patch-wise 方法具有出色的泛化能力,但它們非常耗時,幾乎比 point-wise 方法慢一個數(shù)量級。相比之下, BUFFER 巧妙地結(jié)合了這兩種方法,不僅在未見過的領(lǐng)域中實現(xiàn)了最高的成功率,而且比 patch-wise 方法要高效得多。誠然, BUFFER 在 RTE 和 RRE 上比 SpinNet 稍差,主要是因為 SpinNet 使用了更多的采樣點。

ee3a0bea-6bf8-11ee-939d-92fbcf53809c.png

從室外 KITTI 到室內(nèi) 3DMatch。如表 5 所示,這些逐點方法,即 FCGF、D3Feat、Predator 和 GeoTrans,由于域間隙較大而表現(xiàn)出較差的泛化結(jié)果。值得注意的是,本文方法在 3DMatch 數(shù)據(jù)集上的召回率超過 SpinNet 3.6%,而在 3DLoMatch 數(shù)據(jù)集上性能差距擴大到 11.7%。這主要是因為 SpinNet 只能在低重疊的 3DLoMatch 數(shù)據(jù)集上生成具有較低內(nèi)點率的點對應(yīng)。相比之下,所提出的 Inliers Generator 可以顯著提高 內(nèi)點率,進一步提高整個框架的配準性能。值得注意的是,當直接推廣到未見過的 3DMatch 時, BUFFER 達到了 91.2% 的最高 RR,甚至超過了在 3DMatch 上訓練的那些強基線(例如 Predator 和 YOHO)。這進一步證明了 BUFFER 強大的泛化能力及其潛在的效用。

ee4b61c4-6bf8-11ee-939d-92fbcf53809c.png

從戶外 KITTI 到戶外 ETH。如表6所示,與從3DMatch到ETH的泛化實驗相比,GeoTrans和D3Feat等逐點方法在此實驗設(shè)置下具有顯著的性能提升。這是因為 KITTI 和 ETH 數(shù)據(jù)集僅包含相同的 SO(2) 旋轉(zhuǎn),并且兩個數(shù)據(jù)集之間的域差距并不大。盡管這個泛化實驗確實有利于對旋轉(zhuǎn)和域間隙敏感的逐點方法,但 BUFFER 仍然實現(xiàn)了最佳成功率。這里也推薦「3D視覺工坊」新課程三維點云處理:算法與實戰(zhàn)匯總》。

4.4. Ablations

為了證明所提出的等變?nèi)矸e網(wǎng)絡(luò)的有效性,在 3DMatch 數(shù)據(jù)集上進行了一系列消融實驗。系統(tǒng)地評估 BUFFER 中每個組件的貢獻。學習方向的消融。為了研究不同設(shè)置對方向重復性的影響,進行了以下 3 項消融研究。

用手工方法取代本文學習的方向。在此設(shè)置中,方向是通過手工方法計算的,即法線、SHOT、FLARE 和 SpinNet。

用KPConv替換所提出的等變卷積。在此設(shè)置中,消融模型對于平移不變,但對于旋轉(zhuǎn)不等變。

用向量神經(jīng)元(VN)代替所提出的等變卷積。在這種情況下,消融模型對于旋轉(zhuǎn)是等變的,但對于平移不是不變的。

ee555594-6bf8-11ee-939d-92fbcf53809c.png

用向量神經(jīng)元(VN)代替所提出的等變卷積。在這種情況下,消融模型對于旋轉(zhuǎn)是等變的,但對于平移不是不變的。圖 3 顯示了 3DMatch 數(shù)據(jù)集上所有消融模型的方向誤差的定量結(jié)果??梢钥闯觯?)與手工技術(shù)相比,本文的方法對于現(xiàn)實世界的點云更具可重復性和魯棒性。這主要是因為所提出的 EFCN 可以學習魯棒的深度等變特征,而手工方法僅依賴于低級幾何屬性來計算方向。2)如果神經(jīng)網(wǎng)絡(luò)對于旋轉(zhuǎn)不是等變的,或者對于平移不是不變的,則無法估計可重復且魯棒的方向。這是合理的,因為網(wǎng)絡(luò)只能粗暴地記住方向,這對于新數(shù)據(jù)來說無疑是失敗的。還發(fā)現(xiàn),所提出的 EFCN 對于等變特征學習和方向估計具有重要意義,并且具有擴展到更多任務(wù)的巨大潛力。BUFFER 框架的消融。BUFFER 引入了三個關(guān)鍵組件:學習方向 (LO)、預測關(guān)鍵點 (PK) 和內(nèi)點生成器 (IG)。為了調(diào)查每個模塊的影響,進行了以下 6 項消融研究,以證明每個組件的有效性。特別是在 3DMatch 數(shù)據(jù)集上訓練所有消融模型,然后直接在 3DMatch、3DLoMatch 和 ETH 數(shù)據(jù)集上測試它們。

ee6276d4-6bf8-11ee-939d-92fbcf53809c.png

ee70f0a6-6bf8-11ee-939d-92fbcf53809c.png

表 7 顯示了所有消融實驗的定量結(jié)果。可以看到:1)在不使用任何所提出的組件的情況下,基線(Mini-SpinNet [1])在室內(nèi) 3DMatch 和 3DLoMatch 數(shù)據(jù)集上實現(xiàn)了最低的配準召回率,在室外 ETH 數(shù)據(jù)集上實現(xiàn)了最差的泛化能力。2)當使用所提出的LO或PK時(第2和第3),整個框架的配準精度和泛化能力得到提高。當同時采用 LO 和 PK 時(第 4 點),消融模型在 3DLoMatch 數(shù)據(jù)集上的召回率和 ETH 數(shù)據(jù)集上的成功率分別顯著超過基線 2.9% 和 5.19%。這清楚地表明,所提出的Point-wise Learner不僅可以提高配準精度,而且有利于模型的泛化。3)當僅采用所提出的IG時(No.5),整個框架的配準性能仍然大大提高。這是因為所提出的IG可以有效地從初始對應(yīng)中修剪掉一些異常值(定性結(jié)果如圖4所示),使得在后續(xù)假設(shè)生成階段更容易求解正確的位姿。

5 總結(jié)

本文提出了一種用于點云配準深度學習框架,稱為 BUFFER。引入了高效且通用的特征學習框架和對應(yīng)關(guān)系搜索機制。大量的實驗表明,本文的方法在準確性、效率和泛化性之間實現(xiàn)了最佳權(quán)衡,大大優(yōu)于現(xiàn)有技術(shù)。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 算法
    +關(guān)注

    關(guān)注

    23

    文章

    4577

    瀏覽量

    92354
  • 深度學習
    +關(guān)注

    關(guān)注

    73

    文章

    5439

    瀏覽量

    120797
  • 點云
    +關(guān)注

    關(guān)注

    0

    文章

    58

    瀏覽量

    3773

原文標題:CVPR2023 I BUFFER:點云配準中卓越精度、高效性和泛化性的完美平衡

文章出處:【微信號:3D視覺工坊,微信公眾號:3D視覺工坊】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    基于深度學習的三維方法

    基于深度學習的三維方法成為研究的主流,并隨之誕生了DeepVCP、DGR、Predator等著名的方法。
    發(fā)表于 11-29 11:41 ?1699次閱讀

    一種快速的三維自動方法

    采用主成分分析方法(PCA)定義了簡單的數(shù)學模型和軸向確定方法等來實現(xiàn)。大量實驗證明,算法能夠快速實現(xiàn)任意形狀、大小及位置的兩片
    發(fā)表于 09-23 17:59 ?25次下載

    基于特征精度提純的圖像改進算法

    基于特征精度提純的圖像改進算法_劉珊珊
    發(fā)表于 01-07 18:39 ?0次下載

    具有SIFT描述的多尺度角圖像

    SIFT特征提取過程,提出了一種多尺度角提取方法,提取的多尺度角對圖像旋轉(zhuǎn)和尺度變化有很好的適用。并用SIFT描述子描述,用光學及SAR圖像進行了
    發(fā)表于 11-17 15:26 ?15次下載
    具有SIFT描述的多尺度角<b class='flag-5'>點</b>圖像<b class='flag-5'>配</b><b class='flag-5'>準</b>

    基于平移域估計的全局算法

    坐標軸的包圍盒估計平移域范圍;其次利用改進的全局ICP算法在估計出的平移域和[-,-3的旋轉(zhuǎn)域中進行全局搜索。該算法可以根據(jù)待準點自適應(yīng)地估計平移域的大小,進行全局自動
    發(fā)表于 12-18 13:50 ?0次下載
    基于平移域估計的<b class='flag-5'>點</b><b class='flag-5'>云</b>全局<b class='flag-5'>配</b><b class='flag-5'>準</b>算法

    使用PCL進行數(shù)據(jù)粗算法的研究資料分析

    傳統(tǒng)ICP算法精度受點初始位姿影響較大,收斂速度慢,不能滿足精細化建模的要求?;诖藛栴},通過基于快速特征直方圖的采樣一致
    發(fā)表于 03-01 09:34 ?14次下載
    使用PCL進行<b class='flag-5'>點</b><b class='flag-5'>云</b>數(shù)據(jù)粗<b class='flag-5'>配</b><b class='flag-5'>準</b>算法的研究資料分析

    一種多幅數(shù)據(jù)與紋理序列自動方法

    為對激光掃描儀與數(shù)碼相機的數(shù)據(jù)進行有效,提岀一種基于中心投影的多幅數(shù)據(jù)與紋理序列自動
    發(fā)表于 03-18 10:42 ?5次下載
    一種多幅<b class='flag-5'>點</b><b class='flag-5'>云</b>數(shù)據(jù)與紋理序列自動<b class='flag-5'>配</b><b class='flag-5'>準</b>方法

    基于機械臂的車輛輪廓掃描定位及數(shù)據(jù)

    車輛輪廓的三維模型在汽車智能化制造及維保過程具有重要作用。為提高點
    發(fā)表于 05-26 15:56 ?6次下載

    基于U-net分割的遙感圖像方法

    ,將變量含異質(zhì)噪聲模型應(yīng)用于參數(shù)估計,提高目標區(qū)域的精度。實驗結(jié)果表明,與基于 Harris角
    發(fā)表于 05-28 14:41 ?2次下載

    一篇關(guān)于CVPR‘21使用RL做云圖像

    深度強化學習(Deep RL)可以通過序列決策式的方式,在很多方面得到應(yīng)用。這里我們主要介紹一篇CVPR‘21使用RL做云圖像的文章:ReAgent: Point Cloud
    的頭像 發(fā)表于 07-02 08:57 ?3174次閱讀
    一篇關(guān)于<b class='flag-5'>CVPR</b>‘21使用RL做<b class='flag-5'>點</b>云圖像<b class='flag-5'>配</b><b class='flag-5'>準</b>

    自動駕駛?cè)谠挘撼S玫?b class='flag-5'>點方法以及未來發(fā)展方向

    深度學習在自動駕駛領(lǐng)域可謂無往不利,領(lǐng)域也不例外?;谏疃葘W習的
    發(fā)表于 11-11 14:18 ?1918次閱讀

    三維的相關(guān)知識學習技巧

    (target cloud)相同的坐標系下。 可以表示為以下的方程: 其中就是target cloud與source cloud的一對對應(yīng)點。 而我們要求的就是其中的R與T旋轉(zhuǎn)平移矩陣。 這里,我們并不知道兩個集中點的對
    的頭像 發(fā)表于 12-02 09:40 ?1863次閱讀

    SDMNet:大規(guī)模激光雷達的稀疏到稠密匹配網(wǎng)絡(luò)

    為了處理上述的問題,我們提出了SDMNet,一種新的由稀疏到密集的針對大規(guī)模室外方法。稀疏到稠密匹配方案如圖1(c)所示。具體而言,我們將
    的頭像 發(fā)表于 05-24 15:53 ?1059次閱讀
    SDMNet:大規(guī)模激光雷達<b class='flag-5'>點</b><b class='flag-5'>云</b><b class='flag-5'>配</b><b class='flag-5'>準</b>的稀疏到稠密匹配網(wǎng)絡(luò)

    三維過程詳解:算法原理及推導

    就是再兩個還差得十萬八千里、完全不清楚兩個的相對位置關(guān)系的情況下,找到一個這兩個
    的頭像 發(fā)表于 09-21 17:20 ?933次閱讀

    三維算法原理及推導

    就是再兩個還差得十萬八千里、完全不清楚兩個的相對位置關(guān)系的情況下,找到一個這兩個
    的頭像 發(fā)表于 09-25 11:31 ?872次閱讀