基于LiDAR的行人重識別的研究分析

作者：戴沐白?

行人重識別是指在大規(guī)模場景中對未經(jīng)腳本的行人進行身份識別，每個身份的樣本數(shù)量往往很少，這通常需要多個采集設(shè)備。我們的研究利用低成本的LiDAR解決行人重識別的挑戰(zhàn)。我們構(gòu)建了LReID數(shù)據(jù)集，這是第一個基于LiDAR的行人重識別數(shù)據(jù)集，用于促進利用LiDAR點云進行行人重識別的研究。

2、研究內(nèi)容

基于激光雷達（LiDAR）的行人重識別。我們利用低成本的LiDAR設(shè)備解決了人員再識別中的挑戰(zhàn)，構(gòu)建了名為LReID的LiDAR數(shù)據(jù)集，并提出了一種名為ReID3D的LiDAR-based ReID框架。

3、創(chuàng)新

主要體現(xiàn)在以下幾個方面：

首次提出了基于LiDAR的人員再識別（ReID）方法

構(gòu)建了第一個LiDAR-based ReID數(shù)據(jù)集（LReID）

提出了LiDAR-based ReID框架（ReID3D）

4、方法

提出了一種基于LiDAR的行人重識別方法，稱為ReID3D。該方法利用預(yù)訓(xùn)練來引導(dǎo)圖形增強編碼器（GCEE）提取全面的3D內(nèi)在特征。

圖1

ReID3D采用多任務(wù)預(yù)訓(xùn)練來引導(dǎo)編碼器學(xué)習(xí)基于LReID-sync的3D人體特征，如上圖1所示。ReID3D的ReID網(wǎng)絡(luò)由基于圖的互補增強編碼器（GCEE）、互補特征提取器（CFE）和時間模塊組成，如下圖2所示。預(yù)訓(xùn)練的GCEE用于初始化ReID網(wǎng)絡(luò)。

圖2

基于我們的觀察，可能影響ReID模型性能的關(guān)鍵因素是（1）在跨視圖設(shè)置下，不同視角導(dǎo)致的信息變化，以及（2）來自單視圖的不完整信息。此外，真實數(shù)據(jù)的收集和注釋涉及顯著的成本，而模擬數(shù)據(jù)成本低廉，并且具有豐富和準確的注釋。因此，我們利用模擬數(shù)據(jù)對編碼器進行預(yù)訓(xùn)練，用于點云完成和SMPL參數(shù)學(xué)習(xí)的任務(wù)。我們提出的預(yù)訓(xùn)練方法的整體思路如圖1所示。

5、數(shù)學(xué)原理

在這篇文章中，有幾個數(shù)學(xué)公式被用來描述算法和模型的工作原理。

第一個公式是關(guān)于點云完成任務(wù)的。它表示了通過編碼器將輸入的點云轉(zhuǎn)換為潛在向量，然后通過解碼器基于來預(yù)測完整的點云。公式如下：

第二個公式是關(guān)于學(xué)習(xí)人體特征的。它表示了通過將潛在向量輸入到一個多層感知機（MLP）網(wǎng)絡(luò)中，將轉(zhuǎn)換為預(yù)測的形狀參數(shù)。公式如下：

第三個公式是關(guān)于點云完成任務(wù)的損失函數(shù)。它使用Chamfer距離（CD）作為預(yù)測點云和真實點云之間的差異度量。公式如下：

第四個公式是關(guān)于學(xué)習(xí)形狀參數(shù)的損失函數(shù)。它使用均方誤差（MSE）作為預(yù)測形狀參數(shù)和真實形狀參數(shù)之間的差異度量。公式如下：

這些公式用于描述算法和模型的訓(xùn)練過程和損失函數(shù)，以及從點云中提取特征的方法。

6、實驗方法與結(jié)果

本研究采用了兩種實驗方法：LReID和LReID-sync

LReID實驗方法：

數(shù)據(jù)集劃分：LReID數(shù)據(jù)集分為訓(xùn)練集和測試集，訓(xùn)練集包含220個身份，測試集包含剩余的100個身份。測試集中有30個身份在低光條件下采集，而70個身份在正常光照條件下采集。

查詢和畫廊集：在測試集中，選擇每個身份的一個樣本作為查詢集，將其他樣本作為畫廊集。

評估指標(biāo)：使用累積匹配特征（CMC）和平均精度（mAP）作為評估指標(biāo)，與基于攝像頭的數(shù)據(jù)集一致。

? ?

LReID-sync實驗方法

數(shù)據(jù)集生成：使用Unity3D軟件生成LReID-sync數(shù)據(jù)集，模擬了多個視角的多個同步LiDAR捕捉到的場景中的行人。數(shù)據(jù)集包括了點云的完整視圖和單個視圖之間的補全注釋，以及SMPL參數(shù)。

數(shù)據(jù)集特點：LReID-sync包含了600個行人的點云數(shù)據(jù)，每個行人展示了不同的動作、獨特的身體形狀和步態(tài)，確保了數(shù)據(jù)集的多樣性。

預(yù)訓(xùn)練：使用LReID-sync數(shù)據(jù)集進行預(yù)訓(xùn)練，引導(dǎo)編碼器學(xué)習(xí)3D身體特征。

評估指標(biāo)：與LReID相同，使用CMC和mAP作為評估指標(biāo)。

?

7、還有那些改進？

算法改進：可以進一步改進LiDAR-based ReID算法，提高人物識別的準確性和魯棒性。

數(shù)據(jù)集擴充：可以進一步擴充LiDAR-based ReID數(shù)據(jù)集，增加更多的場景、季節(jié)和光照條件的樣本。

多模態(tài)融合：可以將LiDAR數(shù)據(jù)與其他傳感器數(shù)據(jù)（如RGB圖像、紅外圖像等）進行融合，以提高人物識別的準確性和魯棒性。

實時性能優(yōu)化：可以進一步優(yōu)化LiDAR-based ReID算法的實時性能，以適應(yīng)實際應(yīng)用場景中的實時需求。

跨數(shù)據(jù)集泛化：可以將LiDAR-based ReID算法在其他數(shù)據(jù)集上進行驗證和評估，以驗證其在不同數(shù)據(jù)集和場景下的泛化能力。

8、結(jié)論

本研究是第一個關(guān)于基于LiDAR的行人重識別的研究，證明了在具有挑戰(zhàn)性的真實世界室外場景中利用LiDAR進行人員再識別的可行性。

審核編輯：黃飛

?