基于攝像技術(shù)的點云配準(zhǔn)

一、點云配準(zhǔn)基礎(chǔ)知識

1．入門知識及背景

1）點云概念

點云是在同一空間參考系下表達(dá)目標(biāo)空間分布和目標(biāo)表面特性的海量點集合，在獲取物體表面每個采樣點的空間坐標(biāo)后，得到的是點的集合，稱之為“點云”（Point Cloud）。

2）點云圖像是最基礎(chǔ)也是最常見的三維圖像。

那什么是三維圖像呢？三維圖像是一種特殊的圖像信息表達(dá)形式。相比較于常見的二維圖像，其最大的特征是表達(dá)了空間中三個維度（長度寬度和深度）的數(shù)據(jù)。

3）三維圖像的表現(xiàn)形式

深度圖（以灰度表達(dá)物體與相機的距離），幾何模型（由CAD軟件建立），點云模型（所有逆向工程設(shè)備都將物體采樣成點云）。

4）點云根據(jù)測量原理主要分為兩種

根據(jù)激光測量原理得到的點云，包括三維坐標(biāo)（XYZ）和激光反射強度（Intensity）。強度信息與目標(biāo)的表面材質(zhì)、粗糙度、入射角方向，以及儀器的發(fā)射能量，激光波長有關(guān)。

根據(jù)攝影測量原理得到的點云，包括三維坐標(biāo)（XYZ）和顏色信息（RGB）。

當(dāng)然也有把激光和攝影相結(jié)合在一起的（多傳感器融合技術(shù)），這種結(jié)合激光測量和攝影測量原理得到點云，包括三維坐標(biāo)（XYZ）、激光反射強度（Intensity）和顏色信息（RGB）。

本次的文章主要講的是基于攝像技術(shù)的點云配準(zhǔn)。

5）點云的獲取設(shè)備

RGBD設(shè)備（深度攝像機）是可以獲取點云的設(shè)備。比如PrimeSense公司的PrimeSensor、微軟的Kinect、華碩的XTionPRO。

6）點云的屬性

空間分辨率、點位精度、表面法向量等。

7）點云存儲格式

.pts;.asc ; *.dat; .stl ; [1] .imw；.xyz；.las。

8）點云的數(shù)據(jù)類型

（1）pcl::PointXYZ

PointXYZ 成員：float x，y，z;表示了xyz3D信息，可以通過points[i].data[0]或points[i].x訪問點X的坐標(biāo)值

（2）pcl::PointXYZI

PointXYZI成員：float x, y, z, intensity; 表示XYZ信息加上強度信息的類型。

（3）pcl::PointXYZRGB

PointXYZRGB 成員：float x,y,z,rgb; 表示XYZ信息加上RGB信息，RGB存儲為一個float。

（4）pcl::PointXYZRGBA

PointXYZRGBA 成員：float x , y, z; uint32_t rgba; 表示XYZ信息加上RGBA信息，RGBA用32bit的int型存儲的。

（5） PointXY 成員：float x,y;簡單的二維x-y點結(jié)構(gòu)

（6）Normal結(jié)構(gòu)體：

表示給定點所在樣本曲面上的法線方向，以及對應(yīng)曲率的測量值，用第四個元素來占位，兼容SSE和高效計算

9）點云處理的三個層次

一般將圖像處理分為三個層次，低層次包括圖像強化，濾波，關(guān)鍵點/邊緣檢測等基本操作。中層次包括連通域標(biāo)記（label），圖像分割等操作。高層次包括物體識別，場景分析等操作。工程中的任務(wù)往往需要用到多個層次的圖像處理手段。

PCL官網(wǎng)對點云處理方法給出了較為明晰的層次劃分：

低層次處理方法

①濾波方法：雙邊濾波、高斯濾波、條件濾波、直通濾波、隨機采樣一致性濾波。②關(guān)鍵點：ISS3D、Harris3D、NARF，SIFT3D

中層次處理方法

①特征描述：法線和曲率的計算、特征值分析、SHOT、PFH、FPFH、3D Shape Context、Spin Image

②分割與分類：

分割：區(qū)域生長、Ransac線面提取、全局優(yōu)化平面提取

K-Means、Normalize Cut（Context based）

3D Hough Transform(線、面提取)、連通分析

分類：基于點的分類，基于分割的分類，基于深度學(xué)習(xí)的分類（PointNet，OctNet）

高層次處理方法

①配準(zhǔn)

點云配準(zhǔn)分為粗配準(zhǔn)（Coarse Registration）和精配準(zhǔn)（Fine Registration）兩個階段。

精配準(zhǔn)的目的是在粗配準(zhǔn)的基礎(chǔ)上讓點云之間的空間位置差別最小化。應(yīng)用最為廣泛的精配準(zhǔn)算法應(yīng)該是ICP以及ICP的各種變種（穩(wěn)健ICP、point to plane ICP、Point to line ICP、MBICP、GICP、NICP）。

粗配準(zhǔn)是指在點云相對位姿完全未知的情況下對點云進(jìn)行配準(zhǔn)，可以為精配準(zhǔn)提供良好的初始值。當(dāng)前較為普遍的點云自動粗配準(zhǔn)算法包括基于窮舉搜索的配準(zhǔn)算法和基于特征匹配的配準(zhǔn)算法。

基于窮舉搜索的配準(zhǔn)算法：

遍歷整個變換空間以選取使誤差函數(shù)最小化的變換關(guān)系或者列舉出使最多點對滿足的變換關(guān)系。如RANSAC配準(zhǔn)算法、四點一致集配準(zhǔn)算法（4-Point Congruent Set, 4PCS）、Super4PCS算法等……

基于特征匹配的配準(zhǔn)算法：

通過被測物體本身所具備的形態(tài)特性構(gòu)建點云間的匹配對應(yīng)，然后采用相關(guān)算法對變換關(guān)系進(jìn)行估計。如基于點FPFH特征的SAC-IA、FGR等算法、基于點SHOT特征的AO算法以及基于線特征的ICL等…

②SLAM圖優(yōu)化

Ceres（Google的最小二乘優(yōu)化庫，很強大）， g2o、LUM、ELCH、Toro、SPA

SLAM方法：ICP、MBICP、IDC、likehood Field、NDT

③三維重建

泊松重建、 Delaunay triangulations、表面重建，人體重建，建筑物重建，樹木重建。結(jié)構(gòu)化重建：不是簡單的構(gòu)建一個Mesh網(wǎng)格，而是為場景進(jìn)行分割，為場景結(jié)構(gòu)賦予語義信息。場景結(jié)構(gòu)有層次之分，在幾何層次就是點線面。實時重建：重建植被或者農(nóng)作物的4D（3D+時間）生長態(tài)勢；人體姿勢識別；表情識別；

④點云數(shù)據(jù)管理

點云壓縮，點云索引（KD、Octree），點云LOD（金字塔），海量點云的渲染。

參考博客：blog.csdn.net/hongju_ta

10）點云配準(zhǔn)在三維重建中的應(yīng)用

以上是關(guān)于點云配準(zhǔn)的最最基礎(chǔ)的知識，其他專業(yè)的知識請參見一下其他博客。

1. 關(guān)于三維計算機視覺的研究內(nèi)容

cnblogs.com/yhlx125/p/4

2. 關(guān)于點云數(shù)據(jù)處理方法

（三維計算機視覺中點云數(shù)據(jù)處理面對的問題，主要方法和技術(shù)，概述其特點。）

blog.csdn.net/pdw521/ar

二、書籍和文獻(xiàn)

書籍

由于純粹的點云配準(zhǔn)技術(shù)發(fā)展的并不是很成熟，所以關(guān)于點云配準(zhǔn)的書籍目前很少，我了解的書籍只有一本國防工業(yè)出版社的《點云數(shù)據(jù)配準(zhǔn)及曲面細(xì)分技術(shù)》講解了點云配準(zhǔn)的相關(guān)技術(shù)，但主要內(nèi)容稍顯過時，適合沒有基礎(chǔ)的小白看看，參考意義不多。

筆者主要還是從博客和碩士博士論文中學(xué)習(xí)

文獻(xiàn)

朱琛琛. 基于ICP算法的點云配準(zhǔn)研究[D]. 2019.（注：基于攝像技術(shù)的點云配準(zhǔn)）

點云配準(zhǔn)若干問題研究[D].2018. （注：基于雷達(dá)激光的點云配準(zhǔn)）

Besl P J , Mckay H D . A method for registration of 3-D shapes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(2):0-256.

Aiger D , Mitra N J , Cohen-Or D . 4-points congruent sets for robust pairwise surface registration[J]. ACM Transactions on Graphics, 2008, 27(3):1.

Automatic registration of large-scale urban scene point clouds based on semantic feature points[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2016, 113:43-58.

三、課程與博客

1）點云配準(zhǔn)算法的說明與流程介紹：

blog.csdn.net/Ha_ku/art

2）幾種點云配準(zhǔn)算法的方法的介紹與比較：

blog.csdn.net/weixin_43

3）三維點云用機器學(xué)習(xí)的方法進(jìn)行處理：

blog.csdn.net/u01463624

4）以一個例子詳細(xì)介紹了點云配準(zhǔn)的過程：

zhihu.com/question/3417

四、數(shù)據(jù)集

The Stanford 3D Scanning Repository（斯坦福大學(xué)的3d掃描存儲庫）

鏈接：graphics.stanford.edu/d

這應(yīng)該是做點云數(shù)據(jù)最初大家用最多的數(shù)據(jù)集，其中包含最開始做配準(zhǔn)的Bunny、Happy Buddha、Dragon等模型。

Shapenet

ShapeNet是一個豐富標(biāo)注的大規(guī)模點云數(shù)據(jù)集，其中包含了55中常見的物品類別和513000個三維模型。

The KITTI Vision Benchmark Suite

鏈接：cvlibs.net/datasets/kit

這個數(shù)據(jù)集來自德國卡爾斯魯厄理工學(xué)院的一個項目，其中包含了利用KIT的無人車平臺采集的大量城市環(huán)境的點云數(shù)據(jù)集（KITTI），這個數(shù)據(jù)集不僅有雷達(dá)、圖像、GPS、INS的數(shù)據(jù)，而且有經(jīng)過人工標(biāo)記的分割跟蹤結(jié)果，可以用來客觀的評價大范圍三維建模和精細(xì)分類的效果和性能。

Robotic 3D Scan Repository

鏈接：kos.informatik.uni-osnabrueck.de

這個數(shù)據(jù)集比較適合做SLAM研究，包含了大量的Riegl和Velodyne雷達(dá)數(shù)據(jù)

佐治亞理工大型幾何模型數(shù)據(jù)集

鏈接：cc.gatech.edu/projects/

PASCAL3D+

鏈接：cvgl.stanford.edu/proje

包含了12中剛體分類，每一類超過了3000個實例。并且包含了對應(yīng)的imageNet中每一類的圖像。

其他總結(jié)

鏈接：github.com/timzhang642/

五、開源工具

MeshLab

簡介：是一款開源、可移植和可擴(kuò)展的三維幾何處理系統(tǒng)。主要用于處理和編輯3D三角網(wǎng)格，它提供了一組用于編輯、清理、修復(fù)、檢查、渲染、紋理化和轉(zhuǎn)換網(wǎng)格的工具。提供了處理由3D數(shù)字化工具/設(shè)備生成的原始數(shù)據(jù)以及3D打印功能，功能全面而且豐富。MeshLab支持多數(shù)市面上常見的操作系統(tǒng)，包括Windows、Linux及Mac OS X，支持輸入/輸出的文件格式有：STL 、OBJ 、 VRML2.0、U3D、X3D、COLLADA MeshLab可用于各種學(xué)術(shù)和研究環(huán)境，如微生物學(xué)、文化遺產(chǎn)及表面重建等。