點(diǎn)云PCL免費(fèi)知識(shí)星球，點(diǎn)云論文速讀。

文章：FastORB-SLAM: Fast ORB-SLAM method with Coarse-to-Fine Descriptor Independent Keypoint Matching

作者：Qiang Fu12, Hongshan Yu1 , Xiaolong Wang

翻譯：particle

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請(qǐng)聯(lián)系刪除。歡迎各位加入免費(fèi)知識(shí)星球，獲取PDF論文，歡迎轉(zhuǎn)發(fā)朋友圈分享快樂(lè)。

論文閱讀模塊將分享點(diǎn)云處理，SLAM，三維視覺(jué)，高精地圖相關(guān)的文章。公眾號(hào)致力于理解三維視覺(jué)領(lǐng)域相關(guān)內(nèi)容的干貨分享，歡迎各位加入我，我們一起每天一篇文章閱讀，開(kāi)啟分享之旅,有興趣的可聯(lián)系微信dianyunpcl@163.com。

●論文摘要

基于特征點(diǎn)的視覺(jué)SLAM方法由于對(duì)不同環(huán)境的魯棒性越來(lái)越受歡迎。ORB-SLAM2是該領(lǐng)域的一種基準(zhǔn)方法，但是ORB-SLAM2中描述子的計(jì)算非常耗時(shí)，并且必須選擇圖像作為關(guān)鍵幀，否則描述子無(wú)法重用。為了克服這些問(wèn)題，本文提出了一種輕量型、高效率的fast orb-slam，可以在不需要計(jì)算描述子的情況下跟蹤相鄰幀之間的關(guān)鍵特征點(diǎn)。為此，提出了一種基于稀疏光流的由粗到細(xì)關(guān)鍵點(diǎn)描述子匹配方法。在第一階段，通過(guò)均加速度運(yùn)動(dòng)模型預(yù)測(cè)初始關(guān)鍵點(diǎn)對(duì)應(yīng)關(guān)系，然后通過(guò)基于金字塔的稀疏光流跟蹤方法穩(wěn)健地建立對(duì)應(yīng)關(guān)系。在第二階段，利用運(yùn)動(dòng)平滑和極線約束來(lái)優(yōu)化對(duì)應(yīng)關(guān)系。特別是，本文的方法只計(jì)算關(guān)鍵幀的描述子。我們用一臺(tái)RGBD相機(jī)在TUM和ICL-NUIM數(shù)據(jù)集上測(cè)試Fast ORBSLAM，并將其精度和效率與現(xiàn)有的九種RGBD SLAM方法進(jìn)行了比較。從定性和定量結(jié)果表明，該方法在精度上達(dá)到了最先進(jìn)的性能，并且大約是ORB-SLAM2的兩倍。

●?相關(guān)工作與介紹

視覺(jué)SLAM在許多應(yīng)用領(lǐng)域都越來(lái)越重要，如虛擬現(xiàn)實(shí)（VR）、增強(qiáng)現(xiàn)實(shí)（AR）、無(wú)人機(jī)（UAV）或無(wú)人車(chē)（UGV）導(dǎo)航和自主移動(dòng)機(jī)器人。高精度和低計(jì)算成本是視覺(jué)slam的兩個(gè)核心要求。目前的方法分為基于光度的直接方法，例如DSO和SVO，以及基于特征的間接方法。直接法通過(guò)最小化像素的光度誤差來(lái)恢復(fù)姿態(tài)。間接方法利用圖像特征點(diǎn)，通過(guò)最小化特征點(diǎn)對(duì)應(yīng)之間的重投影誤差來(lái)恢復(fù)相機(jī)姿態(tài)，并基于特征描述子實(shí)現(xiàn)回環(huán)檢測(cè)（重定位）以消除全局漂移。其中間接法的視覺(jué)SLAM中，ORB-SLAM2被認(rèn)為是當(dāng)前最先進(jìn)的SLAM方法，它建立在許多優(yōu)秀作品的基礎(chǔ)上，如first real-time Visual Slam、PTAM、fast place recognition、BoW2和高效的基于圖的捆集調(diào)整（BA）共視圖。我們注意到間接方法中關(guān)鍵點(diǎn)描述子的計(jì)算非常耗時(shí)，并且除了關(guān)鍵幀外，這些描述子不會(huì)被重用。這浪費(fèi)了大量的計(jì)算資源。如果我們能夠在不計(jì)算相鄰幀之間計(jì)算描述子的情況下建立可靠的關(guān)鍵點(diǎn)對(duì)應(yīng)關(guān)系，將大大降低計(jì)算成本而不損失精度。在此基礎(chǔ)上，本文提出了一種高效的輕量化視覺(jué)SLAM系統(tǒng)fast orb-slam。與ORB-SLAM2等間接方法不同，我們的方法只在幀被選為關(guān)鍵幀時(shí)計(jì)算描述子。

為了在沒(méi)有描述子的情況下建立可靠的關(guān)鍵點(diǎn)匹配，我們將關(guān)鍵點(diǎn)匹配方法分為兩個(gè)階段：

• 第一階段是魯棒關(guān)鍵點(diǎn)匹配，首先通過(guò)均勻加速度模型預(yù)測(cè)初始關(guān)鍵點(diǎn)對(duì)應(yīng)關(guān)系，然后實(shí)現(xiàn)了基于金字塔的光流跟蹤算法，建立了魯棒的關(guān)鍵點(diǎn)對(duì)應(yīng)關(guān)系。

• 第二階段是內(nèi)點(diǎn)精匹配，首先利用運(yùn)動(dòng)平滑約束過(guò)濾出離群點(diǎn)，然后采用極線約束對(duì)匹配點(diǎn)進(jìn)行再細(xì)化。

實(shí)現(xiàn)了一個(gè)完整而健壯的SLAM系統(tǒng)（直接或間接方法）應(yīng)該包括三個(gè)線程：跟蹤、局部建圖和循環(huán)閉合。跟蹤運(yùn)行在前端，實(shí)時(shí)輸出當(dāng)前攝像機(jī)姿態(tài)。局部建圖和回環(huán)檢測(cè)在后臺(tái)非實(shí)時(shí)運(yùn)行，通過(guò)局部或全局約束優(yōu)化相機(jī)運(yùn)動(dòng)和結(jié)構(gòu)。回環(huán)檢測(cè)是提高生命周期操作魯棒性的一個(gè)重要線程，因?yàn)樗鼮榧m正全局累積誤差提供了強(qiáng)大的約束，而且，當(dāng)系統(tǒng)在某個(gè)時(shí)間無(wú)法跟蹤有效特征時(shí)，它可以用于重定位。無(wú)論是最小化光度誤差（直接方法）還是重投影誤差（間接方法），它都?xì)w結(jié)為一個(gè)非線性最小二乘優(yōu)化問(wèn)題，可以通過(guò)BA有效地解決。一旦建立了對(duì)應(yīng)關(guān)系，就可以通過(guò)BA優(yōu)化來(lái)解決位姿估計(jì)或精化問(wèn)題。因此，建立準(zhǔn)確的特征對(duì)應(yīng)關(guān)系對(duì)視覺(jué)系統(tǒng)具有極其重要的意義。

總之，我們的主要貢獻(xiàn)如下：

本文介紹了FastORB-SLAM，這是一個(gè)新穎、完整、輕量、健壯的SLAM系統(tǒng)，它是基于ORB-SLAM2和稀疏光流開(kāi)發(fā)的，可以輸出高精度的3D姿態(tài)估計(jì)，如圖所示。

• 提出了一種新的由粗到精的關(guān)鍵點(diǎn)匹配方法，該方法可以在不需要描述子的情況下，在相鄰幀之間建立可靠的關(guān)鍵點(diǎn)對(duì)應(yīng)關(guān)系。

• 我們研究了一個(gè)均勻加速模型來(lái)預(yù)測(cè)關(guān)鍵點(diǎn)對(duì)應(yīng)，這不僅提高了關(guān)鍵點(diǎn)匹配的精度，而且潛在地減少了搜索匹配的計(jì)算量。

• 提出的Fast ORB SLAM使用RGBD攝像機(jī)作為輸入進(jìn)行測(cè)試，幾乎所有具有代表性的開(kāi)源RGB-D SLAM系統(tǒng)在定位精度（RMSE）和計(jì)算時(shí)間方面都超過(guò)了TUM和ICLNUIM數(shù)據(jù)集的十幾個(gè)數(shù)據(jù)集。定性和定量結(jié)果表明，該方法達(dá)到了SOTA的性能。

• 我們的方法比ORB-SLAM2快兩倍，定位精度也很好。

● 內(nèi)容精華

系統(tǒng)介紹

Fast ORB SLAM，一個(gè)完整、健壯、重量輕的視覺(jué)SLAM系統(tǒng)。與ORB-SLAM2基于描述子匹配在相鄰幀中建立關(guān)鍵點(diǎn)對(duì)應(yīng)關(guān)系不同，該系統(tǒng)采用由粗到細(xì)的描述子匹配方法。描述子只在選擇一幀作為關(guān)鍵幀時(shí)才計(jì)算，而ORB-SLAM2則為每一幀計(jì)算描述子。與SVO相比，主要有三點(diǎn)不同：

• 第一，我們的方法采用了不同的關(guān)鍵點(diǎn)檢測(cè)器；

• 第二，SVO由于沒(méi)有提取描述子而無(wú)法實(shí)現(xiàn)回環(huán)檢測(cè)；

• 第三，SVO通過(guò)直接最小化光度誤差來(lái)跟蹤關(guān)鍵點(diǎn)，以恢復(fù)運(yùn)動(dòng)，它有一個(gè)問(wèn)題，如果關(guān)鍵點(diǎn)對(duì)應(yīng)包含很多離群值，這些離群值將導(dǎo)致糟糕的定位精度。

相應(yīng)地，我們的方法建立關(guān)鍵點(diǎn)對(duì)應(yīng)關(guān)系，并通過(guò)顯式的由粗到細(xì)的關(guān)鍵點(diǎn)匹配方法處理異常值問(wèn)題，然后通過(guò)最小化對(duì)應(yīng)點(diǎn)之間的重投影誤差來(lái)恢復(fù)相機(jī)運(yùn)動(dòng)。

Fast ORB SLAM系統(tǒng)概述。FastORB SLAM基于ORB-SLAM2構(gòu)建，由三個(gè)線程組成：跟蹤、局部建圖和回環(huán)檢測(cè)。快速跟蹤估計(jì)并實(shí)時(shí)輸出6D攝像機(jī)姿態(tài)。局部建圖增加一個(gè)新的關(guān)鍵幀，并通過(guò)BA優(yōu)化來(lái)優(yōu)化局部關(guān)鍵幀。回環(huán)檢測(cè)就是不斷地檢查是否有回環(huán)，并用全局BA優(yōu)化來(lái)修正漂移。建圖模塊包含關(guān)鍵幀、地圖點(diǎn)、可共視圖和生成樹(shù)等信息。壓縮模塊是為了高效計(jì)算而設(shè)計(jì)的，它保留了有用的觀測(cè)值，并及時(shí)剔除無(wú)用信息，避免了冗余計(jì)算。

連續(xù)幀上的關(guān)鍵點(diǎn)（inliers）示例。在檢測(cè)關(guān)鍵點(diǎn)之前，采用自適應(yīng)直方圖均衡化算法對(duì)圖像進(jìn)行預(yù)處理，以減少光照影響。從這個(gè)數(shù)字，我們的系統(tǒng)可以一直跟蹤足夠多的關(guān)鍵點(diǎn)。值得注意的是，如果inlier數(shù)足夠，我們不需要提取關(guān)鍵點(diǎn)，例如，我們只檢測(cè)第一列和最后一列中的關(guān)鍵點(diǎn)。在這個(gè)序列中，Fast ORB SLAM比ORB-SLAM2具有更好的定位精度，計(jì)算時(shí)間更少。

由粗到細(xì)關(guān)鍵點(diǎn)描述子的匹配方法

通過(guò)將三維地標(biāo)投影到當(dāng)前幀來(lái)預(yù)測(cè)特征點(diǎn)之間對(duì)應(yīng)關(guān)系的圖示。

運(yùn)動(dòng)模型預(yù)測(cè)匹配初始值的偽代碼

觀察到時(shí)變序列中相鄰兩幀具有較小基線距離和亮度不變的特征點(diǎn)，在此基礎(chǔ)上，提出了一種由粗到細(xì)、與獨(dú)特描述子的兩階段特征點(diǎn)匹配方法來(lái)建立可靠的關(guān)鍵點(diǎn)對(duì)應(yīng)關(guān)系。值得注意的是，僅當(dāng)幀被選為關(guān)鍵幀時(shí)才提取描述子，由粗到精細(xì)匹配的方法分為兩個(gè)階段：

第一階段是魯棒的關(guān)鍵點(diǎn)匹配：

首先，通過(guò)一個(gè)有效的運(yùn)動(dòng)模型來(lái)預(yù)測(cè)關(guān)鍵點(diǎn)的對(duì)應(yīng)關(guān)系，這給算法一個(gè)很好的匹配的初始值，并且潛在地減少了搜索匹配的計(jì)算量；

然后，基于稀疏光流算法，在8層金字塔結(jié)構(gòu)中建立特征點(diǎn)的對(duì)應(yīng)關(guān)系。更具體地說(shuō)，我們?cè)诘谝浑A段對(duì)所有關(guān)鍵點(diǎn)實(shí)現(xiàn)算法1，以穩(wěn)健地建立粗略的關(guān)鍵點(diǎn)對(duì)應(yīng)關(guān)系。

第二階段為內(nèi)點(diǎn)精匹配階段：

首先利用攝像機(jī)運(yùn)動(dòng)平滑約束過(guò)濾出異常值；然后，采用基于RANSAC的基本矩陣法再次精細(xì)化特征點(diǎn)的相關(guān)系數(shù)。

● 實(shí)驗(yàn)

該方法在跟蹤特征點(diǎn)的例子。我們?yōu)槊總€(gè)圖像檢測(cè)1000個(gè)關(guān)鍵點(diǎn)。在（a）中，左、右圖像分別表示參考幀和當(dāng)前幀。（b） 和（c）分別代表了KTL和ours（w/motion model）的結(jié)果。（d） 表示內(nèi)部細(xì)化后的結(jié)果，包括運(yùn)動(dòng)平滑和極線約束后的結(jié)果。

Ratio表示inliers比率，inliers數(shù)是極線約束驗(yàn)證后當(dāng)前幀上的關(guān)鍵點(diǎn)數(shù)。時(shí)間表示極線驗(yàn)證的時(shí)間。

該方法比ORB-SLAM2定位精度高，計(jì)算量小。在其他數(shù)據(jù)集中，我們的方法也具有很強(qiáng)的競(jìng)爭(zhēng)力。

在ICL NUIM Office 3（左）和ICL NUIM LIVEL 1（右）數(shù)據(jù)集中ORB-SLAM2和OUR的定位精度比較。頂行表示三維運(yùn)動(dòng)軌跡。最后一行給出了APE和RPE的誤差比較。從這個(gè)圖中，我們的方法比ORB-SLAM2在兩個(gè)數(shù)據(jù)集中產(chǎn)生了比ORB-SLAM2更好的精度，包括一個(gè)低紋理區(qū)域。

?從表中可以看出，我們的方法實(shí)現(xiàn)了SOTA性能

●總結(jié)

在本文中，我們提出了一個(gè)新穎的，輕量級(jí)的視覺(jué)SLAM系統(tǒng)fast orb-slam。該系統(tǒng)是基于ORB-SLAM2和光流算法開(kāi)發(fā)的。與ORB-SLAM2相比，我們的方法在計(jì)算速度上有明顯的優(yōu)勢(shì)，因?yàn)樗恍枰诟櫨€程中提取描述子。在實(shí)驗(yàn)中，我們證明了fast orb-slam可以在使用RGB-D相機(jī)的室內(nèi)場(chǎng)景中產(chǎn)生SOTA性能，在定位精度和效率方面都是如此。與ORB-SLAM2相比，我們的方法運(yùn)行速度幾乎是ORB-SLAM2的兩倍，具有很強(qiáng)的競(jìng)爭(zhēng)力。

資源

三維點(diǎn)云論文及相關(guān)應(yīng)用分享

【點(diǎn)云論文速讀】基于激光雷達(dá)的里程計(jì)及3D點(diǎn)云地圖中的定位方法

3D目標(biāo)檢測(cè)：MV3D-Net

三維點(diǎn)云分割綜述（上）

3D-MiniNet: 從點(diǎn)云中學(xué)習(xí)2D表示以實(shí)現(xiàn)快速有效的3D LIDAR語(yǔ)義分割（2020）

win下使用QT添加VTK插件實(shí)現(xiàn)點(diǎn)云可視化GUI

JSNet：3D點(diǎn)云的聯(lián)合實(shí)例和語(yǔ)義分割

大場(chǎng)景三維點(diǎn)云的語(yǔ)義分割綜述

PCL中outofcore模塊---基于核外八叉樹(shù)的大規(guī)模點(diǎn)云的顯示

基于局部凹凸性進(jìn)行目標(biāo)分割

基于三維卷積神經(jīng)網(wǎng)絡(luò)的點(diǎn)云標(biāo)記

點(diǎn)云的超體素(SuperVoxel)

基于超點(diǎn)圖的大規(guī)模點(diǎn)云分割

更多文章可查看：點(diǎn)云學(xué)習(xí)歷史文章大匯總

SLAM及AR相關(guān)分享

【開(kāi)源方案共享】ORB-SLAM3開(kāi)源啦！

【論文速讀】AVP-SLAM：自動(dòng)泊車(chē)系統(tǒng)中的語(yǔ)義SLAM

【點(diǎn)云論文速讀】StructSLAM:結(jié)構(gòu)化線特征SLAM

SLAM和AR綜述

常用的3D深度相機(jī)

AR設(shè)備單目視覺(jué)慣導(dǎo)SLAM算法綜述與評(píng)價(jià)

SLAM綜述(4)激光與視覺(jué)融合SLAM

Kimera實(shí)時(shí)重建的語(yǔ)義SLAM系統(tǒng)

SLAM綜述(3)-視覺(jué)與慣導(dǎo)，視覺(jué)與深度學(xué)習(xí)SLAM

易擴(kuò)展的SLAM框架-OpenVSLAM

高翔：非結(jié)構(gòu)化道路激光SLAM中的挑戰(zhàn)

SLAM綜述之Lidar SLAM

基于魚(yú)眼相機(jī)的SLAM方法介紹

往期線上分享錄播匯總

第一期B站錄播之三維模型檢索技術(shù)

第二期B站錄播之深度學(xué)習(xí)在3D場(chǎng)景中的應(yīng)用

第三期B站錄播之CMake進(jìn)階學(xué)習(xí)

第四期B站錄播之點(diǎn)云物體及六自由度姿態(tài)估計(jì)

第五期B站錄播之點(diǎn)云深度學(xué)習(xí)語(yǔ)義分割拓展

第六期B站錄播之Pointnetlk解讀

[線上分享錄播]點(diǎn)云配準(zhǔn)概述及其在激光SLAM中的應(yīng)用

[線上分享錄播]cloudcompare插件開(kāi)發(fā)

[線上分享錄播]基于點(diǎn)云數(shù)據(jù)的?Mesh重建與處理

[線上分享錄播]機(jī)器人力反饋遙操作技術(shù)及機(jī)器人視覺(jué)分享

[線上分享錄播]地面點(diǎn)云配準(zhǔn)與機(jī)載點(diǎn)云航帶平差

點(diǎn)云PCL更多活動(dòng)請(qǐng)查看：點(diǎn)云PCL活動(dòng)之應(yīng)屆生校招群

掃描下方微信視頻號(hào)二維碼可查看最新研究成果及相關(guān)開(kāi)源方案的演示：

如果你對(duì)本文感興趣，請(qǐng)點(diǎn)擊“原文閱讀”獲取知識(shí)星球二維碼，務(wù)必按照“姓名+學(xué)校/公司+研究方向”備注加入免費(fèi)知識(shí)星球，免費(fèi)下載pdf文檔，和更多熱愛(ài)分享的小伙伴一起交流吧！

掃描二維碼

? ? ? ? ? ? ? ? ? ?關(guān)注我們

讓我們一起分享一起學(xué)習(xí)吧！期待有想法，樂(lè)于分享的小伙伴加入免費(fèi)星球注入愛(ài)分享的新鮮活力。分享的主題包含但不限于三維視覺(jué)，點(diǎn)云，高精地圖，自動(dòng)駕駛，以及機(jī)器人等相關(guān)的領(lǐng)域。

分享及合作：微信“920177957”（需要按要求備注）聯(lián)系郵箱：dianyunpcl@163.com，歡迎企業(yè)來(lái)聯(lián)系公眾號(hào)展開(kāi)合作。

點(diǎn)一下“在看”你會(huì)更好看耶

總結(jié)

以上是生活随笔為你收集整理的Fast ORB-SLAM的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。