在结构化场景中基于单目的物体与平面SLAM方案
點云PCL免費知識星球，點云論文速讀。
文章：Monocular Object and Plane SLAM in Structured Environments
作者：Shichao Yang, Sebastian Scherer
翻譯：particle
本文僅做學術分享，如有侵權，請聯系刪除。歡迎各位加入免費知識星球，獲取PDF論文，歡迎轉發朋友圈分享快樂。
論文閱讀模塊將分享點云處理，SLAM，三維視覺，高精地圖相關的文章。公眾號致力于理解三維視覺領域相關內容的干貨分享，歡迎各位加入我，我們一起每天一篇文章閱讀，開啟分享之旅,有興趣的可聯系微信dianyunpcl@163.com。
●論文摘要
本文提出了一種基于高層次目標物體和平面關鍵特征的單目的SLAM算法。與基于特征點的SLAM相比，所構建的地圖更密集、更具體、更有語義信息的地圖。文章首先提出一個高層次的圖形模型，在考慮遮擋和語義約束的情況下，從單個圖像中聯合推斷三維物體和結構平面。在統一的SLAM框架下，利用攝像機姿態對獲取的目標物體和平面進行進一步優化。與點特征相比，目標物體和平面可以提供更多的語義約束。在ICL-NUIM和TUM-Mono等不同的公共數據集和采集數據集上的實驗表明，與最先進的SLAM算法相比，我們的算法可以提高攝像機定位精度，尤其是在沒有環路閉合的情況下，該算法還能在許多結構化環境下穩健地生成稠密的地圖。
使用單目相機重建關鍵點、物體（綠色框）、平面（紅色矩形）的稠密SLAM貼圖的示例結果。（頂部）ICL客廳數據集。（底部）收集的長廊數據集。
●?相關工作與介紹
在這項工作中，提出一個基于單目目標物體和平面的SLAM系統，沒有先驗的對象物體和房間形狀模型。主要分為兩個步驟。理解三維結構是第一步是，基于圖像的幾何特征和語義特征生成并優化結構平面和物體對象。第二步是多視圖SLAM優化。在一個統一的捆集調整（BA）框架中，通過攝像機姿態和點特征進一步優化平面和物體。對象和平面提供了額外的語義和幾何約束，以改進攝像機的姿態估計，優化并生成密集的三維地圖。另一方面，精確的SLAM姿態估計提高了單圖像的3D檢測。綜上所述，我們的貢獻如下：
?一個高層次圖形幾何模型，具有高效的推理能力，可用于單圖像三維結構理解。
?首個單目目標和平面SLAM，在SLAM方面均優于最先進的算法。
● 內容精華
單幀圖像理解
將環境表示為一組長方體對象和結構化平面（如墻和地板）。目標是同時從二維圖像推斷出它們的三維位置。我們首先生成若干目標物體和假設平面，然后通過條件隨機場（CRF）優化選擇其中的最佳子集，如圖所示
單圖像三維物體和結構平面檢測概述。首先生成許多高質量的對象和結構化平面，然后根據語義分割、交叉、遮擋等信息建立圖形幾何模型來選擇最優子集。
為了表示平面，CNNs可以直接預測三維平面位置，但由于預測的布局可能與實際平面邊界不完全匹配，可能會丟失一些細節。因此，測量不確定度大，不適合作為SLAM觀測值。所以這里直接檢測和選擇更可靠和可重復性更好的地面與墻交界線段。
SLAM優化
利用單幅圖像檢測中選取的目標物和平面作為SLAM觀測值，并通過多視點BA對攝像機姿態進行優化。并在SLAM過程中包含點特征，因為在環境中通常只有幾個對象和平面，它們不能完全約束攝影機的姿勢。
SLAM中的觀測值。（a） 相機平面觀測。將檢測到的地面邊緣反投影到三維空間，與地標平面進行比較。（b） 相機對象物體觀測。將三維長方體地標投影到圖像上，并與檢測到的二維盒體進行比較。（c） 物體與平面測量誤差取決于被平面遮擋的物體體積。
● 實驗
對于目標檢測，使用了與Object SLAM【1】類似的算法。Yolo檢測器用于二維目標檢測。對于平面檢測，我們首先使用【2】檢測線段并將其合并到長邊上。Segnet【3】用于二維語義分割。然后我們過濾掉長度小于50像素且距離墻-地分割邊界50像素以上的線。在視頻情況下，單幅圖像的三維檢測采用SLAM姿態估計。對于SLAM部分，系統是建立在基于特征點的ORB SLAM之上的，通過對象和平面進行擴展。
單圖像原始物體和面檢測和CRF優化。
（a） 原始平面和預測的對象。（為了簡潔起見，只繪制了一個長方體方案）
（b）原始方案的俯視圖。紅色矩形表示地面真實物體，藍色表示估計值。檢測的墻線是青色的。
（c） CRF選定檢測到物體的俯視圖。優化后的物體姿態更精確。平面和對象的相交和遮擋也會減少
（頂部）ICLNUIM辦公室2和房間數據。（中）YUM-mono 36。（下）采集的長廊。紅色矩形為平面邊界，綠色長方體為對象。藍色曲線是估計的攝像機軌跡。
●總結
在這項工作中，我們提出了第一個單目SLAM和稠密SLAM算法，根據實驗結果表明，語義場景理解和傳統的SLAM優化方法可以互相促進。對于單幅圖像，我們提出了一種快速的三維物體和結構化平面的聯合理解方法。通過二維目標檢測和邊緣檢測生成長方體和平面方案。然后提出一種高效的稀疏高階CRF推理來選擇最優方案。在SLAM部分，針對平面和物體設計了幾種新的測量函數。與點相比，物體和平面可以提供遠距離的幾何和語義約束，如交集和支撐關系，以提高姿態估計。為了提高魯棒性，提出了嚴格的外點剔除、魯棒數據關聯和優化方法。我們評估了SLAM算法在各種公共室內數據集（包括房間和走廊）中的性能。與現有的方法相比，我們的方法可以在大多數環境下改進攝像機的姿態估計和稠密地圖。未來，除了墻平面外，還需要考慮更多的通用平面，以生成更密集、更完整的地圖。動態對象和對象表面映射也可以用來提高魯棒性和地圖質量。
參考文獻
【1】Shichao Yang and Sebastian Scherer. CubeSLAM: Monocular 3D object SLAM. IEEE Transactions on Robotics, 2019
【2】Rafael Grompone von Gioi, Jeremie Jakubowicz, Jean-Michel Morel, and Gregory Randall. LSD: A fast line segment detector with a false detection control. IEEE Transactions on Pattern Analysis & Machine Intelligence, (4):722–732, 2008.
【3】Vijay Badrinarayanan, Alex Kendall, and Roberto Cipolla. SegNet: A deep convolutional encoder-decoder architecture for image segmentation. IEEE transactions on pattern analysis and machine intelligence, 39(12):2481–2495, 2017
資源
三維點云論文及相關應用分享
【點云論文速讀】基于激光雷達的里程計及3D點云地圖中的定位方法
3D目標檢測：MV3D-Net
三維點云分割綜述（上）
3D-MiniNet: 從點云中學習2D表示以實現快速有效的3D LIDAR語義分割（2020）
win下使用QT添加VTK插件實現點云可視化GUI
JSNet：3D點云的聯合實例和語義分割
大場景三維點云的語義分割綜述
PCL中outofcore模塊---基于核外八叉樹的大規模點云的顯示
基于局部凹凸性進行目標分割
基于三維卷積神經網絡的點云標記
點云的超體素(SuperVoxel)
基于超點圖的大規模點云分割
更多文章可查看：點云學習歷史文章大匯總
SLAM及AR相關分享
【開源方案共享】ORB-SLAM3開源啦！
【論文速讀】AVP-SLAM：自動泊車系統中的語義SLAM
【點云論文速讀】StructSLAM:結構化線特征SLAM
SLAM和AR綜述
常用的3D深度相機
AR設備單目視覺慣導SLAM算法綜述與評價
SLAM綜述(4)激光與視覺融合SLAM
Kimera實時重建的語義SLAM系統
SLAM綜述(3)-視覺與慣導，視覺與深度學習SLAM
易擴展的SLAM框架-OpenVSLAM
高翔：非結構化道路激光SLAM中的挑戰
SLAM綜述之Lidar SLAM
基于魚眼相機的SLAM方法介紹
往期線上分享錄播匯總
第一期B站錄播之三維模型檢索技術
第二期B站錄播之深度學習在3D場景中的應用
第三期B站錄播之CMake進階學習
第四期B站錄播之點云物體及六自由度姿態估計
第五期B站錄播之點云深度學習語義分割拓展
第六期B站錄播之Pointnetlk解讀
[線上分享錄播]點云配準概述及其在激光SLAM中的應用
[線上分享錄播]cloudcompare插件開發
[線上分享錄播]基于點云數據的?Mesh重建與處理
[線上分享錄播]機器人力反饋遙操作技術及機器人視覺分享
[線上分享錄播]地面點云配準與機載點云航帶平差
點云PCL更多活動請查看：點云PCL活動之應屆生校招群
掃描下方微信視頻號二維碼可查看最新研究成果及相關開源方案的演示：
如果你對本文感興趣，點擊“原文閱讀”獲取知識星球二維碼，務必按照“姓名+學校/公司+研究方向”備注加入免費知識星球，星球可自由發言交流和分享。也可免費下載公眾號分享的論文pdf文檔，和更多熱愛分享的小伙伴一起交流吧！
歡迎各位轉發分享朋友圈，將公眾號設置為星標，或點擊“在看”以示鼓勵和支持，讓我們繼續分享！
以上內容如有錯誤請留言評論，歡迎指正交流。如有侵權，請聯系刪除
掃描二維碼
? ? ? ? ? ? ? ? ? ?關注我們
讓我們一起分享一起學習吧！期待有想法，樂于分享的小伙伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點云，高精地圖，自動駕駛，以及機器人等相關的領域。
分享及合作方式：聯系微信“920177957”（需要按要求備注）聯系郵箱：dianyunpcl@163.com，歡迎企業來聯系公眾號展開合作。
點一下“在看”你會更好看耶
總結
以上是生活随笔為你收集整理的在结构化场景中基于单目的物体与平面SLAM方案的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 自动驾驶中图像与点云融合的深度学习研究进
- 下一篇： Open3d学习计划—高级篇 3（点云全