點云PCL免費知識星球，點云論文速讀。

文章：SemSegMap - 3D Segment-Based Semantic Localization

作者：Andrei Cramariuc, Florian Tschopp, Nikhilesh Alatur, Stefan Benz

代碼：https://github.com/ethz-asl/segmap

編譯：點云PCL

歡迎各位加入免費知識星球，獲取PDF論文，歡迎轉(zhuǎn)發(fā)朋友圈。文章僅做學(xué)術(shù)分享，如有侵權(quán)聯(lián)系刪文。未經(jīng)博主同意請勿擅自轉(zhuǎn)載。

公眾號致力于分享點云處理，SLAM，三維視覺，高精地圖相關(guān)的文章與技術(shù)，歡迎各位加入我們，一起每交流一起進(jìn)步,有興趣的可聯(lián)系微信：920177957。本文來自點云PCL博主的分享，未經(jīng)作者允許請勿轉(zhuǎn)載，歡迎各位同學(xué)積極分享和交流。

摘要

定位是移動機(jī)器人或自動駕駛汽車的一項基本任務(wù)，如今，許多機(jī)器人平臺都配備了高精度的3D激光雷達(dá)傳感器，可以進(jìn)行環(huán)境測繪建圖，而攝像機(jī)則能夠提供環(huán)境的語義信息，基于分割的建圖和定位已成功應(yīng)用于三維點云數(shù)據(jù)，而語義理解已被證明可以提高基于視覺系統(tǒng)的定位性能，在本文中，我們在SemSegMap中結(jié)合了這兩種模式，將SegMap擴(kuò)展為一個基于分割的建圖框架，該框架還能夠利用環(huán)境中的顏色和語義數(shù)據(jù)來提高定位精度和魯棒性，特別是，我們提出了新的分割和描述子提取方法，分割過程得益于來自顏色和語義類一致性的額外距離信息，從而在訪問回環(huán)的某個位置后產(chǎn)生更多可重復(fù)的分割信息和更多重疊信息，對于描述子，在深度學(xué)習(xí)的描述子提取網(wǎng)絡(luò)中執(zhí)行緊密融合方法，從而提高路標(biāo)匹配的描述子，我們在多個模擬和真實數(shù)據(jù)集上演示了這種融合的優(yōu)勢，并將其性能與各種基線方案進(jìn)行了比較，實驗表明，在使用非常稠密的具有挑戰(zhàn)的點云地圖數(shù)據(jù)集上，與SegMap相比，我們能夠得到50.9%的高精度和更少的全局定位，同時還可以實時提供精確的6自由度姿勢估計。

介紹

在本文中介紹了SemSegMap，一種利用相機(jī)提供的視覺和語義信息并將其與標(biāo)準(zhǔn)3D激光雷達(dá)的幾何信息融合的方法，作為定位框架的基礎(chǔ)，我們使用SegMap，這是一種基于激光雷達(dá)的SLAM流程，使用環(huán)境的3D部分作為路標(biāo)，并允許從大比例尺地圖中的稠密的描述子中檢索6D姿勢，與SegMap[1]不同，在SemSegMap中，如圖1所示，首先點云使用語義分割RGB圖像的反投影來豐富顏色和語義信息。

圖1：此圖顯示正在運行的SemSegMap流程。SemSegMap能夠在點云數(shù)據(jù)上執(zhí)行基于分割的語義定位，該點云數(shù)據(jù)包含來自可視相機(jī)的語義和顏色信息，當(dāng)前觀察到的機(jī)器人周圍的局部地圖顯示為下圖所示的全局地圖頂部的彩色點云，每個部分具有唯一的顏色。綠線表示定位的匹配分割對應(yīng)部分，而橙色線表示機(jī)器人軌跡。

此外，基于幾何、顏色和語義信息對點云進(jìn)行分割，以創(chuàng)建一致且有意義的語義信息，我們在多個實驗中表明，由于這種融合，分割過程和生成的描述子對視點和外觀的變化更加魯棒，從而使機(jī)器人的重定位更加一致，我們的貢獻(xiàn)如下：

• 實驗表明，將相機(jī)中的顏色和語義信息集成到點云中可以改進(jìn)分割和描述子生成過程，從而在SLAM流程中實現(xiàn)更一致的6D定位

• 我們介紹了一個基于模擬的學(xué)習(xí)流程，用于使用地面真相關(guān)聯(lián)來訓(xùn)練分割描述子，并展示了它們在現(xiàn)實場景中的可遷移性

• 我們在模擬和真實世界數(shù)據(jù)的廣泛評估中展示了SemSegMap的性能，其表現(xiàn)優(yōu)于各種基線方案

• 為了社區(qū)的利益，我們開放整個代碼：https://github.com/ethz-asl/segmap.

主要內(nèi)容

A.豐富的語義信息

整個方案的輸入由彩色圖像流和點云組成，彩色圖像通過語義分割網(wǎng)絡(luò)獲得每個像素的語義類別，使用相機(jī)和激光雷達(dá)之間的外參以及相機(jī)的內(nèi)參，將每個像素的顏色和語義分割投影到點云數(shù)據(jù)上，結(jié)果是一組p=fx形式的豐富點云 p = f（x; y; z; h; s; v; c），其中x、y和z是空間坐標(biāo)，還具有HSV空間中的顏色值h、s和v（結(jié)果在圖1中可見）和語義類標(biāo)簽c，如圖2所示。

圖2:SemSegMap流程概覽，整個流程可以在從磁盤加載已經(jīng)建立好的點云地圖中進(jìn)行的定位的模式下運行，也可以在回環(huán)閉合模式下運行

B. 語義分割

為了去除噪聲并實現(xiàn)更稠密的數(shù)據(jù)表示這里將豐富的點云數(shù)據(jù)處理到固定大小的體素網(wǎng)格中，體素網(wǎng)格是一個半徑為R的圓柱體，動態(tài)跟蹤機(jī)器人并以其為中心，對于每個體素，多個點的顏色信息通過使用傳入值的運行平均值進(jìn)行融合，以獲得體素的當(dāng)前值，相反，語義類標(biāo)簽不能平均，因此，存儲所有值，并通過多數(shù)投票確定體素的語義標(biāo)簽，可以通過排除屬于已知動態(tài)類別（如人和汽車）的點來進(jìn)行進(jìn)一步過濾?？梢允褂迷隽繗W幾里德分割，每一步都不需要在整個點云書中上重新運行，而是只在新激活的體素上增量的計算。在分割過程中，在每一步，機(jī)器人都會在自身周圍的局部地圖中提取一組語義信息，當(dāng)從不同的角度進(jìn)行更多的觀察時，這些分割出來的語義信息會慢慢積累點云，與跟蹤關(guān)鍵點的方式類似，一個分割段將具有多個累積觀測值。

C.描述子

對于每個分割出來的語義信息的觀測，計算一個學(xué)習(xí)描述子，并通過將每個描述子與相應(yīng)分段質(zhì)心點關(guān)聯(lián)來構(gòu)建局部地圖，出于效率原因，我們只保留每個分割信息的最后一次觀測值的描述子，以創(chuàng)建用于后續(xù)定位或回環(huán)檢測的目標(biāo)地圖。

圖3：彩色點云的描述子提取基于Pointnet++主干，而語義融合在語義類直方圖的粗略體素網(wǎng)格中，該網(wǎng)絡(luò)使用重建損耗和三重態(tài)損耗進(jìn)行訓(xùn)練

新的描述子網(wǎng)絡(luò)（如圖3所示）使用基于分層點集特征學(xué)習(xí)的Pointnet++體系結(jié)構(gòu)，Pointnet++主干網(wǎng)的輸入是彩色點云分割信息，該分段隨機(jī)二次采樣為固定大小的2048個點，相反，類標(biāo)簽被累積到一個非常粗糙的3×3×3空間體素網(wǎng)格中，其中每個單元包含屬于點云分割段該部分的類標(biāo)簽的標(biāo)準(zhǔn)化直方圖，這種非常粗糙的描述就足夠了，因為由于語義分割過程，大多數(shù)片段中的類標(biāo)簽是相同的，為了提高計算效率，該類表示由一個小型三維卷積網(wǎng)絡(luò)單獨處理，其輸出隨后與Pointnet++主干連接，最后，我們還向網(wǎng)絡(luò)中輸入了點云坐標(biāo)歸一化的比例因子，這有助于網(wǎng)絡(luò)更好地區(qū)分不匹配但在視覺上或幾何上相似的線段。

D.定位和回環(huán)

為了執(zhí)行定位或回環(huán)，分別在定位構(gòu)建的分段建圖和先前或全局建圖之間確定候選對應(yīng)關(guān)系，使用每個局部可見段的描述子從全局圖中檢索k個最相似的描述符來識別候選項，最后，基于目標(biāo)和查詢匹配候選的質(zhì)心執(zhí)行幾何驗證步驟，以識別導(dǎo)致使用隨機(jī)樣本一致性（RANSAC）的最大內(nèi)聯(lián)線集的6自由度（DoF）變換，生成的轉(zhuǎn)換既可以用作從先前構(gòu)建的地圖進(jìn)行定位的結(jié)果，也可以用作SLAM場景中的循環(huán)閉合約束，在后一種情況下，回路閉合約束和機(jī)器人里程計約束都被置于基于iSAM2的在線姿勢圖中。

實驗

實驗部分在模擬和公共真實數(shù)據(jù)集上對SemSegMap進(jìn)行了全面評估，證明了與不同基線相比，SemSegMap在分割、描述子質(zhì)量、定位精度和魯棒性方面具有更高的性能。

圖4：包括模擬軌跡和模擬環(huán)境鳥瞰圖（藍(lán)色：S0，綠色：S1，紅色：S2，黃色：S3）

圖5：模擬傳感器模式和環(huán)境條件概述

圖6：使用SemSegMap相對于SegMap改變模擬數(shù)據(jù)集S1（左）和NCLT N0（右）的分割的IoU

圖7：模擬數(shù)據(jù)集S0（左）和NCLT數(shù)據(jù)集N0（右）上描述子質(zhì)量的比較

定位精度結(jié)果概述

總結(jié)

在本文中，我們介紹了SemSegMap，它是SegMap的一個擴(kuò)展，將RGB相機(jī)的顏色和語義信息與激光雷達(dá)數(shù)據(jù)實時融合，在現(xiàn)實世界的機(jī)器人應(yīng)用中，由于相機(jī)的價格相對較低，因此通常很容易將相機(jī)添加到配備激光雷達(dá)的平臺上，尤其是在執(zhí)行語義分割以提高場景理解的情況下，我們加入了這個額外的模式來提高分割和描述子的質(zhì)量，這是在一個具有精確地面真實性的模擬數(shù)據(jù)集和一個具有挑戰(zhàn)性的真實數(shù)據(jù)集中展示的，通過使用所述擴(kuò)展，SemSegMap能夠在重新訪問某個位置時生成更少的不一致片段和更多高度重疊的語義分割段，從而優(yōu)于幾何分割方法，描述子中附加信息的緊密融合也提高了描述子質(zhì)量，其中SemSegMap不僅優(yōu)于SegMap基線方案，還優(yōu)于其他最先進(jìn)的點云描述子，如FPFH和3DSmoothNet，其k-NN是找到正確匹配所需的，這些改進(jìn)還提高了定位精度和穩(wěn)健性，使得SemSegMap在模擬數(shù)據(jù)集和真實數(shù)據(jù)集的定位精度分別比SegMap高102%和50.9%。

參考文獻(xiàn)

[1] R. Dube, A. Cramariuc, D. Dugas, H. Sommer, M. Dymczyk, J. Nieto, ′?R. Siegwart, and C. Cadena, “SegMap: Segment-based mapping and?localization using data-driven descriptors,” The International Journal?of Robotics Research, vol. 39, no. 2-3, 2019.

本文僅做簡單分享介紹，詳情可查看具體論文！

資源

三維點云論文及相關(guān)應(yīng)用分享

【點云論文速讀】基于激光雷達(dá)的里程計及3D點云地圖中的定位方法

3D目標(biāo)檢測：MV3D-Net

三維點云分割綜述（上）

3D-MiniNet: 從點云中學(xué)習(xí)2D表示以實現(xiàn)快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實現(xiàn)點云可視化GUI

JSNet：3D點云的聯(lián)合實例和語義分割

大場景三維點云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規(guī)模點云的顯示

基于局部凹凸性進(jìn)行目標(biāo)分割

基于三維卷積神經(jīng)網(wǎng)絡(luò)的點云標(biāo)記

點云的超體素(SuperVoxel)

基于超點圖的大規(guī)模點云分割

更多文章可查看：點云學(xué)習(xí)歷史文章大匯總

SLAM及AR相關(guān)分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動泊車系統(tǒng)中的語義SLAM

【點云論文速讀】StructSLAM:結(jié)構(gòu)化線特征SLAM

SLAM和AR綜述

常用的3D深度相機(jī)

AR設(shè)備單目視覺慣導(dǎo)SLAM算法綜述與評價

SLAM綜述(4)激光與視覺融合SLAM

Kimera實時重建的語義SLAM系統(tǒng)

SLAM綜述(3)-視覺與慣導(dǎo)，視覺與深度學(xué)習(xí)SLAM

易擴(kuò)展的SLAM框架-OpenVSLAM

高翔：非結(jié)構(gòu)化道路激光SLAM中的挑戰(zhàn)

SLAM綜述之Lidar SLAM

基于魚眼相機(jī)的SLAM方法介紹

往期線上分享錄播匯總

第一期B站錄播之三維模型檢索技術(shù)

第二期B站錄播之深度學(xué)習(xí)在3D場景中的應(yīng)用

第三期B站錄播之CMake進(jìn)階學(xué)習(xí)

第四期B站錄播之點云物體及六自由度姿態(tài)估計

第五期B站錄播之點云深度學(xué)習(xí)語義分割拓展

第六期B站錄播之Pointnetlk解讀

[線上分享錄播]點云配準(zhǔn)概述及其在激光SLAM中的應(yīng)用

[線上分享錄播]cloudcompare插件開發(fā)

[線上分享錄播]基于點云數(shù)據(jù)的?Mesh重建與處理

[線上分享錄播]機(jī)器人力反饋遙操作技術(shù)及機(jī)器人視覺分享

[線上分享錄播]地面點云配準(zhǔn)與機(jī)載點云航帶平差

點云PCL更多活動請查看：點云PCL活動之應(yīng)屆生校招群

掃描下方微信視頻號二維碼可查看最新研究成果及相關(guān)開源方案的演示：

如果你對本文感興趣，請后臺發(fā)送“知識星球”獲取二維碼，務(wù)必按照“姓名+學(xué)校/公司+研究方向”備注加入免費知識星球，免費下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

以上內(nèi)容如有錯誤請留言評論，歡迎指正交流。如有侵權(quán)，請聯(lián)系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關(guān)注我們

讓我們一起分享一起學(xué)習(xí)吧！期待有想法，樂于分享的小伙伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點云，高精地圖，自動駕駛，以及機(jī)器人等相關(guān)的領(lǐng)域。

分享及合作方式：微信“920177957”（需要按要求備注） 聯(lián)系郵箱：dianyunpcl@163.com，歡迎企業(yè)來聯(lián)系公眾號展開合作。

點一下“在看”你會更好看耶

總結(jié)

以上是生活随笔為你收集整理的SemSegMap ：基于3D点云语义信息的定位的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。