點云PCL免費知識星球，點云論文速讀。

文章：DOT: Dynamic Object Tracking for Visual SLAM

作者：Irene Ballester， Alejandro Fontan， Javier Civera

翻譯：分享者

本文僅做學術分享，如有侵權，請聯系刪除。歡迎各位加入免費知識星球，獲取PDF論文，歡迎轉發朋友圈分享快樂。

論文閱讀模塊將分享點云處理，SLAM，三維視覺，高精地圖相關的文章。公眾號致力于理解三維視覺領域相關內容的干貨分享，歡迎各位加入我，我們一起每天一篇文章閱讀，開啟分享之旅,有興趣的可聯系微信dianyunpcl@163.com。

●論文摘要

在本文中，我們提出了DOT（dynamic object tracking，動態目標跟蹤）系統，它是在現有SLAM系統的基礎上增加的一個前端，可以顯著提高SLAM系統在高動態環境下的魯棒性和準確性。DOT系統結合了實例分割和多視圖幾何生成動態對象的mask，使基于剛性場景模型的SLAM系統在優化時避免此類mask圖像區域。

為了確定哪些目標實際在移動，首先是對潛在的移動對象進行對象的實例分割，然后根據估計的相機運動，通過最小化光度重投影誤差來跟蹤這些對象。與其他方法相比，這種短期跟蹤的方法提高了分割的準確性。最終，根據結果只生成實際的動態對象的mask。我們在三個公共數據集中用ORB-SLAM 2對DOT進行了評估。實驗結果表明，該方法顯著提高了ORB-SLAM 2的精度和魯棒性，特別是在高動態場景下。

● 內容精華

DOT系統概述

下圖顯示了DOT系統的概述。DOT的輸入是一定視頻速率下的RGB-D或立體圖像，其輸出是對場景的靜態和動態元素進行編碼的mask，可直接用于SLAM或里程計系統。第一個模塊（實例分割）對應于CNN，該CNN以像素方式分割出所有潛在的動態對象。在我們的實驗中，使用自動駕駛數據集，只有汽車被分割成潛在的運動。由于DOT是從一幀到另一幀跟蹤mask圖像，因此不需要在每一幀都執行此操作。圖像處理模塊提取并分割屬于圖像靜態區域的點和動態對象中的點。僅使用場景的靜態部分用來跟蹤相機位姿。

判斷物體在運動嗎？使用幾何標準確定網絡標記為潛在動態的對象是否確實在移動。此信息用于更新編碼每個幀的靜態和動態區域的mask，并為里程計/SLAM視覺系統提供信息。

最后，DOT動態物體的跟蹤不需要對每一幀的運動進行估計（因此不需要對每一幀圖像進行新的運動估計）。考慮到實例分割的巨大計算量，這可能是DOT與其他最新方法相比的一個優勢所在。

實例分割

使用deep network Detectron2分割圖像中所有可能移動的實例。對網絡的輸出進行了修改，以在一幅圖像中獲得所有的分割mask。未被劃分為潛在移動類別的圖像區域被賦予一個“背景”標簽，并且在隨后的塊中被認為是靜態的。

相機和目標跟蹤

在前一步的實例分割中，我們的目標是估計攝像機和動態物體的運動。由于攝像機的運動和物體的運動在圖像中是耦合的，所以我們在兩步過程中進行估計。首先將攝像機的姿態作為一個相對變換，然后減去相機的運動來估計目標物的運動

跟蹤的質量處理

遮擋、光照條件的變化和分割誤差對目標和相機姿態的準確性有重要影響。如算法1所示，在目標跟蹤步驟之后開發了幾種策略，以減少它們的影響。

判斷對象是否運動

這個模塊主要根據相機的運動和對象的位移來判斷真實的對象是否有移動。

上圖為計算流程的一個部分的示例。第一排顯示點估計的跟蹤相機和對象。請注意，并非所有幀都需要來自網絡的分割mask（黃色幀）。下面一行顯示由DOT生成的分割mask，這些掩碼對運動分類進行編碼：運動中（彩色）、靜態（黑色）和未觀察到（灰色）。

mask傳播

DOT系統利用每幀中可用的兩個分割mask：一個由神經網絡產生，另一個由前一幀傳播。將兩個mask進行圖像映射，可以將不同幀中發現的實例對象可靠地關聯到同一個3D對象中。狀態傳播。將新的語義實例與預先存在的對象關聯起來，可以預測它們的運動（這對于快速移動的對象至關重要）。此外，在物體移動到運動不可見的位置時，可以保持運動的分類。獨立分割。我們的方案允許語義分割掩碼從初始種子在時間和空間上傳播，消除了分割每一幀的需要。在低端平臺上，以較低的頻率運行神經網絡使實時目標跟蹤更容易。作為進一步的好處，DOT能夠填補網絡在連續圖像之間暫時丟失對象實例化的空白。

●?實驗

雖然DOT的潛在應用范圍很廣，從目標檢測到增強現實或自動駕駛，本文中我們提供了一個深入的評估，以證明“了解物體的運動”能在多大程度上提高SLAM系統的精度。

場景內容。所研究的三種構型的樣本結果。左：沒有mask。中心：圓點mask。右圖：所有mask。

●?總結

DOT是一種新穎的SLAM系統前端算法，它結合實例分割和多視圖幾何方程，對運動目標進行魯棒檢測和跟蹤。用ORB-SLAM2對三個用于自主駕駛研究的公共數據集進行了評估表明，DOT生成的物體運動信息允許我們分割動態內容，顯著提高了其魯棒性和準確性。DOT與SLAM的獨立性使得它成為一個多功能的前端，只需最小的集成工作就可以適應任何最先進的視覺里程計或SLAM系統。與其他系統不同，點云的mask跟蹤降低了應進行分割（通常涉及高計算成本）的速率，降低了相對于現有技術的計算需求。

資源

三維點云論文及相關應用分享

【點云論文速讀】基于激光雷達的里程計及3D點云地圖中的定位方法

3D目標檢測：MV3D-Net

三維點云分割綜述（上）

3D-MiniNet: 從點云中學習2D表示以實現快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實現點云可視化GUI

JSNet：3D點云的聯合實例和語義分割

大場景三維點云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規模點云的顯示

基于局部凹凸性進行目標分割

基于三維卷積神經網絡的點云標記

點云的超體素(SuperVoxel)

基于超點圖的大規模點云分割

更多文章可查看：點云學習歷史文章大匯總

SLAM及AR相關分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動泊車系統中的語義SLAM

【點云論文速讀】StructSLAM:結構化線特征SLAM

SLAM和AR綜述

常用的3D深度相機

AR設備單目視覺慣導SLAM算法綜述與評價

SLAM綜述(4)激光與視覺融合SLAM

Kimera實時重建的語義SLAM系統

SLAM綜述(3)-視覺與慣導，視覺與深度學習SLAM

易擴展的SLAM框架-OpenVSLAM

高翔：非結構化道路激光SLAM中的挑戰

SLAM綜述之Lidar SLAM

基于魚眼相機的SLAM方法介紹

往期線上分享錄播匯總

第一期B站錄播之三維模型檢索技術

第二期B站錄播之深度學習在3D場景中的應用

第三期B站錄播之CMake進階學習

第四期B站錄播之點云物體及六自由度姿態估計

第五期B站錄播之點云深度學習語義分割拓展

第六期B站錄播之Pointnetlk解讀

[線上分享錄播]點云配準概述及其在激光SLAM中的應用

[線上分享錄播]cloudcompare插件開發

[線上分享錄播]基于點云數據的?Mesh重建與處理

[線上分享錄播]機器人力反饋遙操作技術及機器人視覺分享

[線上分享錄播]地面點云配準與機載點云航帶平差

點云PCL更多活動請查看：點云PCL活動之應屆生校招群

掃描下方微信視頻號二維碼可查看最新研究成果及相關開源方案的演示：

如果你對本文感興趣，請點擊“原文閱讀”獲取知識星球二維碼，務必按照“姓名+學校/公司+研究方向”備注加入免費知識星球，免費下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

掃描二維碼

? ? ? ? ? ? ? ? ? ?關注我們

讓我們一起分享一起學習吧！期待有想法，樂于分享的小伙伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點云，高精地圖，自動駕駛，以及機器人等相關的領域。

分享及合作：微信“920177957”（需要按要求備注）聯系郵箱：dianyunpcl@163.com，歡迎企業來聯系公眾號展開合作。

點一下“在看”你會更好看耶

總結

以上是生活随笔為你收集整理的DOT:视觉SLAM的动态目标物跟踪的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。