點云PCL免費知識星球，點云論文速讀。

標題：VDO-SLAM: A Visual Dynamic Object-aware SLAM System

作者：Jun Zhang , Mina Henein , Robert Mahony and Viorela Ila

來源：https://arxiv.org/pdf/2005.11052.pdf

翻譯：particle

歡迎各位加入免費知識星球，獲取PDF論文，歡迎轉發(fā)朋友圈分享快樂。

論文閱讀模塊將分享點云處理，SLAM，三維視覺，高精地圖相關的文章。公眾號致力于理解三維視覺領域相關內容的干貨分享，歡迎各位加入我，我們一起每天一篇文章閱讀，開啟分享之旅,有興趣的可聯系微信dianyunpcl@163.com。

摘要

在SLAM系統(tǒng)中通常假設環(huán)境是靜態(tài)的，也有一些針對動態(tài)環(huán)境的SLAM算法通過將運動對象從環(huán)境中移除的方法來簡化SLAM的跟蹤，如此強制的假設將限制系統(tǒng)在高度動態(tài)和非結構化的環(huán)境中SLAM的應用。本文介紹了一個魯棒性很強的動態(tài)SLAM感知系統(tǒng)VDO-SLAM，該系統(tǒng)利用語義信息實現對場景中剛性物體的運動估計，不需要事先知道物體的形狀或運動模型。該方法將環(huán)境中的動態(tài)和靜態(tài)結構集成在一個統(tǒng)一的SLAM系統(tǒng)中，能夠獲得精確的位姿和環(huán)境地圖。文章提供了一種從場景中運動物體的姿態(tài)變化估計出速讀的方法，為復雜的動態(tài)環(huán)境下的導航系統(tǒng)提供了重要的功能，我們在一些列的真實的室內和室外的數據集上驗證了該系統(tǒng)的性能，結果表明，與先進的算法相比，該算法具有一定的實質性的改進，并開源了源代碼：https://github.com/halajun/vdo_slam。

主要貢獻

VDO-SLAM系統(tǒng)的結果。（上圖）一個完整的地圖，包括相機軌跡、靜態(tài)背景和運動物體結構。（下圖）靜態(tài)背景和移動物體的特征點檢測，以及估計的移動目標速度。黑色圓圈代表靜態(tài)點，每個對象都用不同的顏色顯示。

這是一種新的基于特征點的立體/RGB-D動態(tài)SLAM系統(tǒng)：VDO-SLAM，它利用基于圖像的語義信息同時進行定位，構建靜態(tài)環(huán)境稀疏點云和動態(tài)移動物體檢測，并跟蹤場景中剛性物體的運動。總之，這項工作的主要貢獻有：

?? 提出了一種能夠在動態(tài)場景下實現機器人的位姿估計，構建靜態(tài)環(huán)境地圖，實現動態(tài)對象的運動估計的統(tǒng)一的框架。

?? 動態(tài)物體SE（3）姿態(tài)變化的精確估計，優(yōu)于最先進的算法，以及提出計算場景中移動物體速度的方法，

?? 一種利用語義信息跟蹤運動對象的穩(wěn)健方法，能夠處理語義對象分割失敗導致的間接遮擋等問題，

?? 在復雜真實的場景中演示了該系統(tǒng)。

據我們所知，這是第一個全動態(tài)SLAM系統(tǒng)，能夠實現運動分割、動態(tài)目標跟蹤、估計相機姿態(tài)以及靜態(tài)和動態(tài)結構，場景中每個剛性物體的完整SE（3）姿態(tài)變化，提取移動物體速度信息，并且在真實的戶外場景中可以運行。我們的算法在真實數據集上的性能，展示了所提出的系統(tǒng)解決剛性物體運動估計的能力，產生的運動結果在精度上可與相機的位姿估計相媲美，并且在城市駕駛場景中比最先進的算法性能高出一個數量級。

主要內容

該系統(tǒng)由三個主要部分組成：圖像預處理、跟蹤和建圖。系統(tǒng)的輸入是立體或RGB-D圖像。對于立體圖像，作為第一步，我們通過應用立體深度估計方法來提取深度信息，并將生成的數據視為RGB-D。雖然該系統(tǒng)最初設計為RGB-D系統(tǒng)，但為了充分利用基于圖像的語義信息，我們采用單圖像深度估計來獲取單目相機的深度信息。我們的“基于學習的單目深度估計”方法，即只使用RGB圖像作為系統(tǒng)的輸入，通過深度學習的方法獲得圖像深度估計。

預處理

預處理模塊需要完成兩個具有挑戰(zhàn)性的方面。首先，對靜態(tài)背景和目標進行魯棒分離，其次保證對動態(tài)目標的長期跟蹤。為了實現這一點，我們利用計算機視覺技術的最新進展，例如實例語義分割和密集光流估計，以確保有效的目標運動分割和魯棒的目標跟蹤。

跟蹤

跟蹤部分包括兩個模塊：相機自身運動跟蹤，包括特征檢測和相機位姿估計子模塊；目標運動跟蹤包括動態(tài)目標跟蹤和目標運動估計子模塊。

建圖

在mapping模塊中，構建并維護一個全局地圖。同時，從全局地圖中提取局部地圖，該局部地圖基于當前時間步長和前一時間步長的窗口大小。這兩個地圖都是通過批量優(yōu)化過程更新的。

論文圖集

文章展示如何以無模型的方式建模剛體對象的運動并且對動態(tài)三維點進行跟蹤。提出一個因子圖優(yōu)化來估計相機和物體的運動。在我們的系統(tǒng)的跟蹤模塊中，如圖所示，系統(tǒng)優(yōu)化的代價函數目的是估計相機姿勢和移動對象的運動，代價函數與3D-2D重投影誤差相關，并且定義在圖像平面上。由于噪聲在圖像平面中的特征更好，這為相機定位提供了更準確的結果。此外，基于這個誤差項，我們提出了一個新的公式，以聯合優(yōu)化光流與相機姿態(tài)和物體運動，以確保關鍵點跟蹤的魯棒性。在建圖模塊中，3D的誤差代價函數用于優(yōu)化3D結構和物體運動估計的最佳結果。

示意圖實線表示相機和物體在慣性系中的姿態(tài)，虛線表示在場景中物體的運動。實線表示慣性系中的三維點，虛線表示相機幀中的三維點。

具有運動物體的動態(tài)SLAM感知系統(tǒng)的因子圖。黑色方塊代表攝影機在不同時間點的位姿，藍色方塊代表三個靜態(tài)點，紅色方塊代表不同時間點的運動物體在相機上的相同動態(tài)點，綠色方塊代表物體姿勢在不同時間之間的變化。

實驗與評估

與MVO系統(tǒng)進行的比較，使用 ?Oxford Multi-motion swinging 4 unconstrained數據集的進行相機和物體運動估計精度。粗體數字表示效果更好。

目標運動估計精度與CubeSLAM相比。顏色條表示與對數刻度中的左Y軸相對應的平移誤差。曲線表示旋轉誤差，對應于右Y軸的線性刻度。

KITTI序列上VDO-SLAM的樣本結果。帶有相機位姿、靜態(tài)環(huán)境點云和動態(tài)對象軌跡的動態(tài)地圖。

總結

在本文中，我們提出了一個新的基于動態(tài)特征的SLAM系統(tǒng)VDO-SLAM，它利用場景中基于圖像的語義信息，而不需要額外的物體姿態(tài)或幾何先驗知識，實現動態(tài)物體的同時定位、建圖和跟蹤。該系統(tǒng)在室內和室外具有挑戰(zhàn)性的數據集上始終展示了穩(wěn)健和準確的結果，并且在目標運動估計方面達到了最先進的性能。我們認為這是基于目標特征的系統(tǒng)方案中目標運動估計的達到較好效果且魯棒的SLAM方法。

資源

三維點云論文及相關應用分享

【點云論文速讀】基于激光雷達的里程計及3D點云地圖中的定位方法

3D目標檢測：MV3D-Net

三維點云分割綜述（上）

3D-MiniNet: 從點云中學習2D表示以實現快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實現點云可視化GUI

JSNet：3D點云的聯合實例和語義分割

大場景三維點云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規(guī)模點云的顯示

基于局部凹凸性進行目標分割

基于三維卷積神經網絡的點云標記

點云的超體素(SuperVoxel)

基于超點圖的大規(guī)模點云分割

更多文章可查看：點云學習歷史文章大匯總

SLAM及AR相關分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動泊車系統(tǒng)中的語義SLAM

【點云論文速讀】StructSLAM:結構化線特征SLAM

SLAM和AR綜述

常用的3D深度相機

AR設備單目視覺慣導SLAM算法綜述與評價

SLAM綜述(4)激光與視覺融合SLAM

Kimera實時重建的語義SLAM系統(tǒng)

SLAM綜述(3)-視覺與慣導，視覺與深度學習SLAM

易擴展的SLAM框架-OpenVSLAM

高翔：非結構化道路激光SLAM中的挑戰(zhàn)

SLAM綜述之Lidar SLAM

基于魚眼相機的SLAM方法介紹

往期線上分享錄播匯總

第一期B站錄播之三維模型檢索技術

第二期B站錄播之深度學習在3D場景中的應用

第三期B站錄播之CMake進階學習

第四期B站錄播之點云物體及六自由度姿態(tài)估計

第五期B站錄播之點云深度學習語義分割拓展

第六期B站錄播之Pointnetlk解讀

[線上分享錄播]點云配準概述及其在激光SLAM中的應用

[線上分享錄播]cloudcompare插件開發(fā)

[線上分享錄播]基于點云數據的?Mesh重建與處理

[線上分享錄播]機器人力反饋遙操作技術及機器人視覺分享

[線上分享錄播]地面點云配準與機載點云航帶平差

點云PCL更多活動請查看：點云PCL活動之應屆生校招群

掃描下方微信視頻號二維碼可查看最新研究成果及相關開源方案的演示：

如果你對本文感興趣，請點擊“原文閱讀”獲取知識星球二維碼，務必按照“姓名+學校/公司+研究方向”備注加入免費知識星球，免費下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

以上內容如有錯誤請留言評論，歡迎指正交流。如有侵權，請聯系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關注我們

讓我們一起分享一起學習吧！期待有想法，樂于分享的小伙伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點云，高精地圖，自動駕駛，以及機器人等相關的領域。

分享及合作方式：群主微信“920177957”（需要按要求備注） 聯系郵箱：dianyunpcl@163.com，歡迎企業(yè)來聯系公眾號展開合作。

點一下“在看”你會更好看耶

總結

以上是生活随笔為你收集整理的【开源方案共享】VDO-SLAM:基于视觉的动态SLAM感知系统的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。