點云PCL免費知識星球，點云論文速讀。

文章：Robust Place Recognition using an Imaging Lidar

作者：Tixiao Shan, Brendan Englot, Fabio Duarte, Carlo Ratti, and Daniela Rus

編譯：點云PCL（ICRA 2021）

開源代碼：https://github.com/TixiaoShan/imaging_lidar_place_recognition

歡迎各位加入免費知識星球，獲取PDF論文，歡迎轉發朋友圈。文章僅做學術分享，如有侵權聯系刪文。未經博主同意請勿擅自轉載。

公眾號致力于分享點云處理，SLAM，三維視覺，高精地圖相關的文章與技術，歡迎各位加入我們，一起每交流一起進步,有興趣的可聯系微信：920177957。本文來自點云PCL博主的分享，未經作者允許請勿轉載，歡迎各位同學積極分享和交流。

摘要

我們提出了一種使用激光雷達生成的強度圖進行魯棒、實時位置識別的方法，利用激光雷達的投影點云并獲得強度圖，該方法可以生成高分辨率的三維點云強度圖。從圖像中提取ORB特征描述子，并將其編碼到一個詞袋向量中，用于識別點云的向量插入到數據庫中，該數據庫由DBoW維護，用于快速位置識別查詢，通過匹配視覺特征描述子進一步驗證返回的候選對象，為了剔除匹配的異常值，這里使用PnP方法，該方法使用RANSAC最小化了視覺特征在歐幾里德空間中的位置及其在二維圖像空間中的對應關系的重投影誤差。結合了基于相機和激光雷達的位置識別方法的優點，我們的方法具有真正的旋轉不變性，能夠處理閉環檢測。在不同規模和環境下從不同平臺收集的數據集上對所提出的方法進行了評估。

介紹

位置識別在許多移動機器人應用中扮演著非常重要的角色，例如解決綁架機器人問題、在已知地圖中定位機器人以及保持同步定位和建圖（SLAM）的準確性。在過去的二十年中，各種各樣的位置識別方法已經在使用相機、激光雷達和其他感知傳感器解決此類問題方面取得了巨大的成功。基于攝像頭的位置識別方法通常從紋理場景中提取視覺特征，并使用詞袋的方法找到候選位置，但是，這些方法會受到照明和視點變化的影響。另一方面，基于激光雷達的位置識別方法（通常從點云中提取局部或全局描述子）對此類變化具有不變性，激光雷達的長探測范圍和寬孔徑允許捕捉環境中的許多結構細節。然而，在描述子提取過程中，這些細節常常被丟棄，這可能導致在被重復結構附近時出現誤報檢測，由于低激光雷達分辨率的普遍存在，基于相機的方法通常不能應用于激光雷達數據，相反，由于缺乏結構信息，基于激光雷達的方法通常不能應用于圖像數據中。

然而，隨著高分辨率激光雷達的出現，例如Outster OS1-128和Velodyne VLS-128，開始彌補了基于相機和基于激光雷達的位置識別方法之間的差距。我們將這種提供圖像質量3D掃描點云的高分辨率激光雷達稱為成像激光雷達，基于這項技術的前景，我們提出了一種使用成像激光雷達進行魯棒位置識別的方法。首先將具有強度信息的高分辨率點云投影到強度圖像上，然后，從強度圖像中提取ORB特征描述子，提取的描述符子轉換成一個單詞包（BoW）向量，這形成了原始點云的緊湊表示，使用這些向量建立DBoW數據庫，并查詢以進行位置識別。如果找到了候選對象，將匹配ORB描述子，以確保這兩個位置之間能夠匹配足夠的特征。為了剔除匹配的異常值，我們通過應用透視n點（PnP）隨機樣本一致性（RANSAC）將匹配問題描述為一個優化問題。該方法的一個代表性示例如圖1所示。

我們的工作結合了攝像機和基于激光雷達的位置識別方法的技術，其主要貢獻如下：

• 為成像激光雷達設計的實時魯棒位置識別，據我們所知，第一個使用投影激光雷達強度圖像進行位置識別的方法。

• 該方法對傳感器姿態變化具有不變性，可檢測正向閉環，甚至反向閉環。

• 我們的方法通過跨不同規模、平臺和環境收集的數據得到了廣泛驗證。

相關工作

我們的工作借鑒了基于相機和基于激光雷達的位置識別方法中使用的概念。由于其低硬件成本要求和在紋理豐富的環境中的魯棒性，基于攝像頭的方法已廣泛應用于各種SLAM框架中，用于閉環檢測，此類方法通常從圖像中提取視覺特征描述子，并使用DBoW在預先訓練的視覺詞匯表上將其轉換為詞袋向量。假設圖像之間存在視覺重疊，DBoW查詢數據庫并基于向量之間的相似性得分返回回環詞袋的候選對象。由于DBoW中的閉環候選對象容易出現錯誤檢測，因此還可以引入額外的驗證步驟來剔除此類檢測，例如，可以引入了幾何驗證方法，對視覺特征進行三角化，以驗證候選對象。然而，基于相機的方法的檢測性能在很大程度上取決于環境外觀，如果重新訪問某個地方時亮度和視點發生劇烈變化，則它們無法提供可靠的檢測。

基于激光雷達的位置識別方法可以分為直接方法和基于描述子的方法。盡管直接法可以在激光雷達的原始點云上操作，而無需任何預處理，但其性能對點云數據大小、初始對齊位姿和遮擋非常敏感，因此，我們將重點討論基于描述子的方法，它可以提供改進的匹配魯棒性，基于描述符子的方法可以分為局部描述子方法和全局描述子方法。

主要內容

本文針對成像激光雷達提出的位置識別方法執行一系列處理步驟包括：強度圖像投影、特征提取、DBoW查詢、特征匹配和PnP RANSAC。圖2顯示了每個流程步驟的示例。

圖2：本文方法的演示：（a）高分辨率點云顏色變化表示強度變化；（b） 從點云投影的強度圖像；（c） 提取的ORB特征（綠點）和從DBoW查詢返回的一對候選對象；（d） 兩個候選對象之間匹配的ORB描述子；（e） PnP RANSAC異常值剔除后匹配的ORB描述符。

A.強度圖像

來自激光雷達的強度信息表示激光束返回的能量值，該能量值通常受物體表面反射率的影響，并且對環境光保持不變，當接收到3D點云P時，我們將其投影到圓柱形強度圖像I上，I中的每個有效像素都可以與P中的一個點相關聯，像素的值由接收點的強度值確定，然后，我們將所有像素值標準化為介于0和255之間，這基本上將強度圖像視為灰度圖像，使我們能夠使用強度圖像對其進行處理，沒有關聯有效點的像素被指定為零值，三維點云的示例如圖2（a）所示，其中顏色變化表示強度變化，得到的強度圖像如圖2（b）所示，其中亮像素和暗像素分別對應于高強度值和低強度值。

B.特征提取

接下來對強度圖像I執行特征提取，假設激光雷達傳感器可能會經歷劇烈的方向變化，這大大擴展了我們方法的應用場景，而不是假設固定的傳感器安裝解決方案，我們選擇提取ORB特征，因為它們的效率和對旋轉變化的不變性，ORB特征描述子是通過首先提取快速角點特征，然后使用簡短描述子對其進行描述獲得，由于傳感器的運動，在強度圖像中觀察到的物體的比例是傳感器和物體之間距離的函數，同樣，物體的外觀方向也受傳感器方向的影響，為了提高在不同尺度和方向上的提取魯棒性，采用下采樣率為1.2的八倍圖像金字塔來獲得八個不同分辨率的強度圖像，在每個圖像中使用快速算法檢測ORB特征，通過計算以特征為中心的圓形區域中的強度變化來確定特征的方向，然后使用簡短算法將角點特征轉換為描述子。

C.DBoW查詢

我們利用DBoW將ORB特征描述符O轉換為一個詞袋向量，使用DBow中提出的視覺詞袋表，此時3D點云現在可以使用稀疏的詞袋向量高效地表示，該向量用于使用DBoW構建數據庫，當接收到一個新的詞向量時，我們通過使用L1距離計算新向量和先前向量之間的相似度來查詢數據庫，如果兩個向量之間的相似性大于閾值λ ，說明找到了潛在的閉環候選。

D.特征匹配

通常，DBoW查詢中的候選項包含許多錯誤檢測，為了驗證檢測，匹配Oi和Oj中的描述子，注意到匹配Oi和Oj中的每個描述子不僅計算量大，而且常常導致大量錯誤匹配，為了提高匹配成功率，根據Oi的角點得分將所有描述子按降序排列，選擇角點得分最大作為最優的結果。

E.PnP RANSAC

如果DBoW查詢返回的候選項不正確，仍然可以特征匹配的過程中獲得足夠的匹配項，為了進一步驗證候選項，我們將驗證問題表述為PnP問題。PnP知道Oi中特征的3D位置和Oj中特征的2D圖像位置，從而最小化3D點及其2D對應的重投影誤差，并估計i和j之間的相對傳感器位姿。為了提高PnP的穩健性，在這里使用RANSAC來剔除匹配中的異常值。圖2（e）顯示了異常值剔除后的正確特征匹配。

實驗

現在我們描述了一系列實驗來定量分析所提出的方法，本文使用的傳感器是Outster OS1-128成像激光雷達，傳感器的水平和垂直視野為360度 和45度，傳感器在兩個方向上的分辨率均為0.35度。當它在10Hz下工作時，從而產生分辨率為1024×128的強度圖像，將提出的方法與SC、ISC和IRIS進行了比較，所有的方法都是在C++中實現的，并在配備英特爾I7 10710U 1.1GHz CPU的筆記本上執行。

圖3：每種方法檢測到的閉環，數據集的軌跡是紅色的，綠點和藍色表示回環的閉合匹配，其中綠點表示回路的位置。

圖4（a）顯示了我們的方法檢測到的四個具有代表性的回環。對于每個檢測，頂行和底行圖像指示在當前和以前時間捕獲的強度圖像，匹配的ORB特征使用綠線連接，第二個示例顯示了當我們將傳感器繞其前進軸旋轉近90度時的檢測結果，第三個和第四個示例顯示了我們的方法，該方法在傳感器倒置的情況下檢測閉合回路，即繞其前軸旋轉180度。注意，在第四個示例中，我們的方法從懸掛在走廊上的海報中提取特征，以幫助檢測。

圖4：使用我們的方法的十二個代表性回環檢測示例，對于每個示例，頂行和底行圖像分別指示在當前和以前時間捕獲的強度圖像，匹配的ORB特征使用綠線連接。

圖5：所有方法的ROC曲線和AUC，通過將報告的環路閉合檢測與地面真值環路閉合進行比較，得到了結果。在所有方法中，所提出的方法在各種數據集上實現了最高的AUC。

對于每種方法，每個數據集上每個查詢的平均計算時間如表I的最后一列所示。

不同分辨率激光雷達檢測結果如表所示。當使用較少的激光雷達通道時，檢測成功率顯著降低，這是因為從低分辨率強度圖像中提取的ORB特征數量有限，DBoW查詢和特征匹配的性能相應降低。我們的方法對可用的激光雷達分辨率非常敏感，最適合與高分辨率成像激光雷達一起使用。

總結

我們提出了一種使用成像激光雷達進行位置識別的新方法，該方法在各種環境下都具有魯棒性。我們的方法結合了基于相機和激光雷達的位置識別方法的優點，與基于相機的方法類似，從3D點云投影的強度圖像中提取ORB特征描述符，使用DBoW來表示點云，使用詞袋向量，并運行位置識別查詢，這類似于基于激光雷達的全局描述子方法。當從查詢中接收到候選對象時，進行ORB描述子匹配以驗證其合法性，再使用PnP RANSAC剔除匹配描述符中的異常值，在不同尺度的室內和室外環境中收集的數據集上對所提出的方法進行了評估，結果表明，與其他基于激光雷達的位置識別方法相比，該方法具有更高的精度和魯棒性。

本文僅做簡單分享介紹，詳情可查看具體論文！

資源

三維點云論文及相關應用分享

【點云論文速讀】基于激光雷達的里程計及3D點云地圖中的定位方法

3D目標檢測：MV3D-Net

三維點云分割綜述（上）

3D-MiniNet: 從點云中學習2D表示以實現快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實現點云可視化GUI

JSNet：3D點云的聯合實例和語義分割

大場景三維點云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規模點云的顯示

基于局部凹凸性進行目標分割

基于三維卷積神經網絡的點云標記

點云的超體素(SuperVoxel)

基于超點圖的大規模點云分割

更多文章可查看：點云學習歷史文章大匯總

SLAM及AR相關分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動泊車系統中的語義SLAM

【點云論文速讀】StructSLAM:結構化線特征SLAM

SLAM和AR綜述

常用的3D深度相機

AR設備單目視覺慣導SLAM算法綜述與評價

SLAM綜述(4)激光與視覺融合SLAM

Kimera實時重建的語義SLAM系統

SLAM綜述(3)-視覺與慣導，視覺與深度學習SLAM

易擴展的SLAM框架-OpenVSLAM

高翔：非結構化道路激光SLAM中的挑戰

SLAM綜述之Lidar SLAM

基于魚眼相機的SLAM方法介紹

掃描下方微信視頻號二維碼可查看最新研究成果及相關開源方案的演示：

如果你對本文感興趣，請后臺發送“知識星球”獲取二維碼，務必按照“姓名+學校/公司+研究方向”備注加入免費知識星球，免費下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

以上內容如有錯誤請留言評論，歡迎指正交流。如有侵權，請聯系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關注我們

讓我們一起分享一起學習吧！期待有想法，樂于分享的小伙伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點云，高精地圖，自動駕駛，以及機器人等相關的領域。

分享及合作方式：微信“920177957”（需要按要求備注） 聯系郵箱：dianyunpcl@163.com，歡迎企業來聯系公眾號展開合作。

點一下“在看”你會更好看耶

總結

以上是生活随笔為你收集整理的基于成像激光雷达的鲁棒位置识别的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。