標(biāo)題：Compact 3D Map-Based Monocular Localization Using Semantic? Edge Alignment

作者：Kejie Qiu, Shenzhou Chen, Jiahui Zhang, Rui Huang, Le Cui, Siyu Zhu, and Ping Tan

排版：點(diǎn)云PCL

來(lái)源:? arxiv 2021?

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請(qǐng)聯(lián)系刪除。歡迎各位加入免費(fèi)知識(shí)星球，獲取PDF論文，歡迎轉(zhuǎn)發(fā)朋友圈。內(nèi)容如有錯(cuò)誤歡迎評(píng)論留言，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載！

公眾號(hào)致力于分享點(diǎn)云處理，SLAM，三維視覺(jué)，高精地圖相關(guān)的文章與技術(shù)，歡迎各位加入我們，一起每交流一起進(jìn)步,有興趣的可聯(lián)系微信：920177957。本文來(lái)自點(diǎn)云PCL博主的分享，未經(jīng)作者允許請(qǐng)勿轉(zhuǎn)載，歡迎各位同學(xué)積極分享和交流。

摘要

精確的定位是導(dǎo)航、機(jī)器人、自動(dòng)駕駛和增強(qiáng)現(xiàn)實(shí)（AR）等各種應(yīng)用的基礎(chǔ)。與增量式定位不同的是，全局定位不存在由誤差積累引起的漂移，這在許多應(yīng)用場(chǎng)景中都是需要的。除了在戶外使用GPS外，3D地圖也被廣泛用作全局定位的替代方案。本文提出了一種基于低成本單目相機(jī)和慣性測(cè)量單元（IMU）的簡(jiǎn)化型三維地圖全局定位系統(tǒng)。該地圖由兩類簡(jiǎn)化元素和多個(gè)語(yǔ)義標(biāo)簽組成，能很好地適應(yīng)城市等各種環(huán)境。同時(shí)，利用語(yǔ)義邊緣特征進(jìn)行關(guān)鍵圖像的地圖配準(zhǔn)，對(duì)環(huán)境中的遮擋和長(zhǎng)期外觀變化具有很強(qiáng)的魯棒性。為了進(jìn)一步提高定位性能，將關(guān)鍵語(yǔ)義邊緣對(duì)齊問(wèn)題描述為一個(gè)基于獨(dú)立VIO（VisualInertial Odometry）模塊預(yù)測(cè)初始姿態(tài)的優(yōu)化問(wèn)題。定位系統(tǒng)采用模塊化設(shè)計(jì)，實(shí)時(shí)實(shí)現(xiàn)。通過(guò)實(shí)際實(shí)驗(yàn)結(jié)果與地面真實(shí)情況進(jìn)行比較，評(píng)估了定位精度，并驗(yàn)證了長(zhǎng)期定位性能。

介紹

視覺(jué)定位是對(duì)給定圖像的位置和方向（即攝像機(jī)姿態(tài)）進(jìn)行估計(jì)的問(wèn)題。這個(gè)問(wèn)題在自主導(dǎo)航中起著關(guān)鍵作用，例如，對(duì)于自動(dòng)駕駛汽車[9]和同時(shí)定位和地圖（SLAM）[30]。在許多三維計(jì)算機(jī)視覺(jué)算法中也會(huì)遇到這種情況，如運(yùn)動(dòng)結(jié)構(gòu)（SfM）[36]、攝像機(jī)標(biāo)定[9]和增強(qiáng)現(xiàn)實(shí)[25]、[29]

用于視覺(jué)定位的最新方法是基于結(jié)構(gòu)的，即它們顯式或隱式地使用三維模型來(lái)表示場(chǎng)景。顯式方法通常采用通過(guò)SfM[20]、[25]、[33]、[40]、[46]構(gòu)造的稀疏3D點(diǎn)云，允許它們將每個(gè)3D點(diǎn)與一個(gè)或多個(gè)局部圖像描述子相關(guān)聯(lián)。對(duì)于給定的圖像，通過(guò)比較從圖像中提取的局部特征的描述子和三維點(diǎn)描述子，建立一組二維-三維的對(duì)應(yīng)關(guān)系。使用這些匹配，然后他們通過(guò)循環(huán)RANSAC[8]中應(yīng)用n點(diǎn)姿勢(shì)解算器[10]、[18]、[19]來(lái)估計(jì)相機(jī)姿勢(shì)。相反，隱式方法[4]、[7]、[28]、[39]放棄了顯式描述子匹配。相反，他們通過(guò)學(xué)習(xí)從圖像塊到三維場(chǎng)景點(diǎn)坐標(biāo)的映射，直接學(xué)習(xí)2D-3D匹配函數(shù)。再次，將得到的2D-3D對(duì)應(yīng)用于基于RANSAC的姿態(tài)估計(jì)。與顯式方法相比，隱式方法可以獲得更高的姿態(tài)精度[4]，[7]。然而，它們目前還不能擴(kuò)展到更大的戶外場(chǎng)景[4]，[37]。

大多數(shù)明確的基于結(jié)構(gòu)的定位方法都集中在單目（單幅圖像）情況下，例如智能手機(jī)和平板電腦上的增強(qiáng)現(xiàn)實(shí)[3]、[17]、[25]，通過(guò)制定有效匹配[21]、[33]或縮放到更大或更復(fù)雜場(chǎng)景的策略[22]、[35]、[40]、[46]。然而，許多機(jī)器人應(yīng)用，特別是自動(dòng)駕駛汽車[9]，[38]，受益于使用多攝像機(jī)系統(tǒng)，覆蓋整個(gè)360°視野（FoV）的機(jī)器人周圍。研究還表明，覆蓋更大視場(chǎng)的攝像機(jī)可以更精確地定位[2]，并且多攝像機(jī)系統(tǒng)可以顯著提高具有挑戰(zhàn)性條件下的定位性能[34]。

文章貢獻(xiàn)

現(xiàn)有的多攝像機(jī)定位研究主要集中在立體SLAM[13]、[23]、[31]、攝像機(jī)標(biāo)定[12]、[13]和攝像機(jī)姿態(tài)估計(jì)[6]、[19]、[41]、[43]。后兩種方法將多攝像機(jī)系統(tǒng)建模為廣義攝像機(jī)[32]，即具有多個(gè)投影中心的攝像機(jī)，以導(dǎo)出（最小）姿態(tài)估計(jì)解算器。然而，多攝像機(jī)定位的一個(gè)核心方面很少受到關(guān)注：使用多個(gè)圖像會(huì)導(dǎo)致在特征匹配過(guò)程中需要考慮更多的特征，從而顯著延長(zhǎng)運(yùn)行時(shí)間。

本文旨在通過(guò)研究多攝像機(jī)系統(tǒng)中高效的2D-3D匹配來(lái)填補(bǔ)這一空白。為此，我們做出了以下主要貢獻(xiàn)：

1）提出了一種多攝像機(jī)系統(tǒng)的優(yōu)先描述符匹配方案。我們的策略基于主動(dòng)搜索[33]，這是一種針對(duì)單目相機(jī)開(kāi)發(fā)的高效優(yōu)先級(jí)方案。我們證明了主動(dòng)搜索的一種快速變體，它導(dǎo)致了單個(gè)圖像的不穩(wěn)定姿態(tài)估計(jì)，非常適合于多攝像機(jī)系統(tǒng)。

2） 我們將優(yōu)先匹配與攝像機(jī)姿態(tài)估計(jì)相結(jié)合。與標(biāo)準(zhǔn)方案不同，標(biāo)準(zhǔn)方案在找到固定數(shù)量的匹配后終止搜索，我們的方法在找到足夠多的幾何一致匹配后立即終止。

3） 受幾何異常值濾波方法的啟發(fā)[40]，[46]，我們開(kāi)發(fā)了一個(gè)有效的幾何驗(yàn)證步驟，可用于整合潛在的姿態(tài)先驗(yàn)。這使得我們可以避免比較描述幾何上不可信的匹配，這可以使我們的搜索更加有效和健壯。后兩種貢獻(xiàn)不僅限于多攝像機(jī)情況，而且也適用于單目場(chǎng)景。

4） 我們展示了如何將我們的方法與VIO方法相結(jié)合，使我們的系統(tǒng)能夠在汽車上實(shí)時(shí)提供準(zhǔn)確、無(wú)漂移的姿態(tài)估計(jì)

在城市環(huán)境中使用建議的精簡(jiǎn)地圖格式進(jìn)行地圖壓縮。使用兩種類型的線段（線段和線框）保留關(guān)鍵地標(biāo)的同時(shí)，顯著減小了地圖的大小。每種類型都可以標(biāo)記為多個(gè)語(yǔ)義類別。

主要內(nèi)容

提出的模塊化定位系統(tǒng)包括語(yǔ)義分割模塊、VIO模塊、地標(biāo)選擇模塊、特征提取模塊和語(yǔ)義邊緣對(duì)齊模塊。本文將重點(diǎn)介紹最后三個(gè)模塊。為了系統(tǒng)的完整性，還簡(jiǎn)要介紹了簡(jiǎn)化地圖的生成過(guò)程。以城市環(huán)境定位為例，定位流程如圖2所示。定位系統(tǒng)由全球定位系統(tǒng)（GPS）或其他視覺(jué)重定位方法等全局參考進(jìn)行初始化。語(yǔ)義分割模塊首先對(duì)采集到的圖像進(jìn)行語(yǔ)義標(biāo)注，在不喪失通用性的前提下，將圖像分割為兩類語(yǔ)義區(qū)域（道路和非道路）。根據(jù)分割結(jié)果，在對(duì)圖像進(jìn)行進(jìn)一步處理之前，先對(duì)圖像中潛在的動(dòng)態(tài)區(qū)域進(jìn)行掩蔽，然后利用邊緣檢測(cè)算法從捕獲的圖像中提取語(yǔ)義邊緣特征，并將分割出的語(yǔ)義邊緣圖像轉(zhuǎn)化為相應(yīng)的距離變換進(jìn)行稠密處理邊緣對(duì)齊。同時(shí)，根據(jù)最后一個(gè)攝像機(jī)姿態(tài)和VIO模塊的里程計(jì)輸入預(yù)測(cè)當(dāng)前攝像機(jī)姿態(tài)。根據(jù)預(yù)測(cè)的攝像機(jī)姿態(tài)，從預(yù)先構(gòu)建的簡(jiǎn)化地圖中選擇相應(yīng)的地標(biāo)進(jìn)行特征對(duì)齊。最后，在一個(gè)優(yōu)化框架內(nèi)導(dǎo)出了全局的相機(jī)姿態(tài)。

提出了基于地圖的定位系統(tǒng)的總體方案。整個(gè)定位系統(tǒng)由虛線框中顯示的全局引用初始化，所有實(shí)線框表示實(shí)時(shí)運(yùn)行的模塊。在特征提取模塊中，根據(jù)分割結(jié)果從輸入圖像中提取語(yǔ)義邊緣特征，生成以距離變換表示的語(yǔ)義能量圖（黑：低能；白：高能）。在地標(biāo)選擇模塊中，根據(jù)獨(dú)立的VIO模塊提供的先驗(yàn)攝像機(jī)姿態(tài)選擇用于特征對(duì)齊的地標(biāo)。在邊緣對(duì)齊模塊中，對(duì)優(yōu)化前后的標(biāo)志點(diǎn)（色點(diǎn)）進(jìn)行了重投影。

地圖定義和生成

我們定義了兩種類型的地標(biāo)，即線段和線框，每種類型都可以附加多個(gè)語(yǔ)義標(biāo)簽。語(yǔ)義線段由一個(gè)語(yǔ)義標(biāo)簽和兩個(gè)三維點(diǎn)表示，語(yǔ)義線框由一個(gè)語(yǔ)義標(biāo)簽和兩個(gè)以上的三維點(diǎn)表示（矩形線框?yàn)樗狞c(diǎn)）：

在地圖生成方面，可以從標(biāo)準(zhǔn)地圖格式轉(zhuǎn)換成簡(jiǎn)化的地標(biāo)地圖，也可以從使用各種傳感器的多種地圖算法的結(jié)果生成簡(jiǎn)化的地標(biāo)。例如，如圖3（a）所示，基于由稠密視覺(jué)映射構(gòu)造的HD地圖，可以使用分割算法在逆透視映射（IPM）圖像中有效地標(biāo)記檢測(cè)到的道路。首先利用專用神經(jīng)網(wǎng)絡(luò)在圖像中檢測(cè)出非道路元素，然后利用映射結(jié)果得到的相應(yīng)深度信息投影到全局坐標(biāo)上，如圖3（b）所示。在實(shí)際應(yīng)用中，這兩種檢測(cè)結(jié)果都可以通過(guò)人工標(biāo)注的方式進(jìn)行細(xì)化，提高精度，并且不保留被植被遮擋的地標(biāo)。圖4顯示就是顯示的城市環(huán)境的簡(jiǎn)化地圖。

圖3 在IPM（bird's eye view）圖像中檢測(cè)路標(biāo)，而在普通圖像視圖中檢測(cè)非路標(biāo)。

圖4 城市環(huán)境的簡(jiǎn)化的地標(biāo)地圖

實(shí)驗(yàn)

采集設(shè)備

用于實(shí)驗(yàn)的生成簡(jiǎn)化地圖是由安裝在數(shù)據(jù)采集車上的高端設(shè)備（包括五個(gè)工業(yè)攝像機(jī)、一個(gè)高精度捷聯(lián)慣導(dǎo)系統(tǒng)和一個(gè)車輪里程計(jì)）構(gòu)建的密集點(diǎn)云地圖生成的。另一方面，用于定位的傳感器組包括MYNT眼睛照相機(jī)的左單目相機(jī)，其以20hz捕獲640×400個(gè)圖像，并且內(nèi)部IMU以200Hz運(yùn)行，下圖所示

對(duì)攝像機(jī)的內(nèi)參數(shù)和攝像機(jī)與IMU之間的外參數(shù)進(jìn)行了預(yù)先標(biāo)定。定位系統(tǒng)采用基于超點(diǎn)[10]的視覺(jué)重定位方法進(jìn)行初始化。VINS Mono[23]用于單目VIO實(shí)現(xiàn)。使用DeepLabv3+[5]和exception[24]模型對(duì)城市環(huán)境進(jìn)行語(yǔ)義分割，得到道路和非道路區(qū)域進(jìn)行進(jìn)一步的特征提取。整個(gè)定位系統(tǒng)在配備i7-8700kcpu和GeForce gtx1080ti的臺(tái)式機(jī)上實(shí)時(shí)運(yùn)行，詳細(xì)的定時(shí)統(tǒng)計(jì)如表一所示。

定位評(píng)估

為了更好的呈現(xiàn)邊緣地標(biāo)對(duì)齊結(jié)果，我們將地標(biāo)重新投影到合成距離變換上，該距離變換將所有語(yǔ)義層結(jié)合起來(lái)進(jìn)行可視化。通常情況下，優(yōu)化后的重投影標(biāo)志（色點(diǎn)）位于低能量區(qū)域（距離變換的黑色區(qū)域）。也就是說(shuō)，通過(guò)重投影圖像可以直觀地判斷定位結(jié)果。

收集了三次總長(zhǎng)620m的試驗(yàn)數(shù)據(jù)，并與地面實(shí)況進(jìn)行了比較。用于定位的簡(jiǎn)化地圖統(tǒng)計(jì)如表二所示， trial 1的地圖具有相對(duì)較大的地標(biāo)密度。重要的是，使用簡(jiǎn)化的地圖表示法，地圖尺寸顯著減小（壓縮因子=原始地圖尺寸=緊湊地圖尺寸），這有利于機(jī)載系統(tǒng)和大規(guī)模部署。

用RMSE計(jì)算的詳細(xì)數(shù)值結(jié)果如表3所示。由于使用了語(yǔ)義邊緣代替了語(yǔ)義對(duì)象，該方法的位置精度在0:29m以內(nèi)，旋轉(zhuǎn)精度在0.52度以內(nèi)?, 滿足了自動(dòng)駕駛對(duì)車道水平精度的要求。此外，如表4所示，我們將該算法與其他基于地圖的算法進(jìn)行了比較，結(jié)果表明該算法在相關(guān)工作中達(dá)到了最佳的性能水平。

總結(jié)

本文提出了一種基于自定義三維簡(jiǎn)化地圖的單目視覺(jué)慣性測(cè)量全局定位系統(tǒng)。地圖由兩種類型的地標(biāo)組成：線段和線框，每種類型都有多個(gè)語(yǔ)義標(biāo)簽。以城市環(huán)境為例，說(shuō)明了方法論和評(píng)價(jià)方法。此外，由于定義的地圖格式的通用性，它可以很容易地適應(yīng)室內(nèi)環(huán)境或任何人造環(huán)境使用特定的語(yǔ)義標(biāo)簽。此外，用于特征對(duì)齊的語(yǔ)義邊緣特征對(duì)透視和光照變化具有很強(qiáng)的魯棒性，在復(fù)雜外觀變化的情況下能夠?qū)崿F(xiàn)長(zhǎng)期定位。

更多詳細(xì)內(nèi)容和加入知識(shí)星球獲取原文

資源

三維點(diǎn)云論文及相關(guān)應(yīng)用分享

【點(diǎn)云論文速讀】基于激光雷達(dá)的里程計(jì)及3D點(diǎn)云地圖中的定位方法

3D目標(biāo)檢測(cè)：MV3D-Net

三維點(diǎn)云分割綜述（上）

3D-MiniNet: 從點(diǎn)云中學(xué)習(xí)2D表示以實(shí)現(xiàn)快速有效的3D LIDAR語(yǔ)義分割（2020）

win下使用QT添加VTK插件實(shí)現(xiàn)點(diǎn)云可視化GUI

JSNet：3D點(diǎn)云的聯(lián)合實(shí)例和語(yǔ)義分割

大場(chǎng)景三維點(diǎn)云的語(yǔ)義分割綜述

PCL中outofcore模塊---基于核外八叉樹(shù)的大規(guī)模點(diǎn)云的顯示

基于局部凹凸性進(jìn)行目標(biāo)分割

基于三維卷積神經(jīng)網(wǎng)絡(luò)的點(diǎn)云標(biāo)記

點(diǎn)云的超體素(SuperVoxel)

基于超點(diǎn)圖的大規(guī)模點(diǎn)云分割

更多文章可查看：點(diǎn)云學(xué)習(xí)歷史文章大匯總

SLAM及AR相關(guān)分享

【開(kāi)源方案共享】ORB-SLAM3開(kāi)源啦！

【論文速讀】AVP-SLAM：自動(dòng)泊車系統(tǒng)中的語(yǔ)義SLAM

【點(diǎn)云論文速讀】StructSLAM:結(jié)構(gòu)化線特征SLAM

SLAM和AR綜述

常用的3D深度相機(jī)

AR設(shè)備單目視覺(jué)慣導(dǎo)SLAM算法綜述與評(píng)價(jià)

SLAM綜述(4)激光與視覺(jué)融合SLAM

Kimera實(shí)時(shí)重建的語(yǔ)義SLAM系統(tǒng)

SLAM綜述(3)-視覺(jué)與慣導(dǎo)，視覺(jué)與深度學(xué)習(xí)SLAM

易擴(kuò)展的SLAM框架-OpenVSLAM

高翔：非結(jié)構(gòu)化道路激光SLAM中的挑戰(zhàn)

SLAM綜述之Lidar SLAM

基于魚眼相機(jī)的SLAM方法介紹

往期線上分享錄播匯總

第一期B站錄播之三維模型檢索技術(shù)

第二期B站錄播之深度學(xué)習(xí)在3D場(chǎng)景中的應(yīng)用

第三期B站錄播之CMake進(jìn)階學(xué)習(xí)

第四期B站錄播之點(diǎn)云物體及六自由度姿態(tài)估計(jì)

第五期B站錄播之點(diǎn)云深度學(xué)習(xí)語(yǔ)義分割拓展

第六期B站錄播之Pointnetlk解讀

[線上分享錄播]點(diǎn)云配準(zhǔn)概述及其在激光SLAM中的應(yīng)用

[線上分享錄播]cloudcompare插件開(kāi)發(fā)

[線上分享錄播]基于點(diǎn)云數(shù)據(jù)的?Mesh重建與處理

[線上分享錄播]機(jī)器人力反饋遙操作技術(shù)及機(jī)器人視覺(jué)分享

[線上分享錄播]地面點(diǎn)云配準(zhǔn)與機(jī)載點(diǎn)云航帶平差

如果你對(duì)本文感興趣，請(qǐng)后臺(tái)發(fā)送“知識(shí)星球”獲取二維碼，務(wù)必按照“姓名+學(xué)校/公司+研究方向”備注加入免費(fèi)知識(shí)星球，免費(fèi)下載pdf文檔，和更多熱愛(ài)分享的小伙伴一起交流吧！

以上內(nèi)容如有錯(cuò)誤請(qǐng)留言評(píng)論，歡迎指正交流。如有侵權(quán)，請(qǐng)聯(lián)系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關(guān)注我們

讓我們一起分享一起學(xué)習(xí)吧！期待有想法，樂(lè)于分享的小伙伴加入免費(fèi)星球注入愛(ài)分享的新鮮活力。分享的主題包含但不限于三維視覺(jué)，點(diǎn)云，高精地圖，自動(dòng)駕駛，以及機(jī)器人等相關(guān)的領(lǐng)域。

分享及合作方式：微信“920177957”（需要按要求備注） 聯(lián)系郵箱：dianyunpcl@163.com，歡迎企業(yè)來(lái)聯(lián)系公眾號(hào)展開(kāi)合作。

點(diǎn)一下“在看”你會(huì)更好看耶

總結(jié)

以上是生活随笔為你收集整理的基于简化点云地图的语义边缘对齐的单目定位方法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。