分

享

SLAM包含了兩個主要的任務：定位與構圖，在移動機器人或者自動駕駛中，這是一個十分重要的問題：機器人要精確的移動，就必須要有一個環境的地圖，那么要構建環境的地圖就需要知道機器人的位置。

本系列文章主要分成四個部分：

在第一部分中，將介紹Lidar SLAM，包括Lidar傳感器，開源Lidar SLAM系統，Lidar中的深度學習以及挑戰和未來。

第二部分重點介紹了Visual SLAM，包括相機傳感器，不同稠密SLAM的開源視覺SLAM系統。

SLAM綜述(2)-視覺SLAM

第三部分介紹視覺慣性里程法SLAM，視覺SLAM中的深度學習以及未來。

SLAM綜述(3)-視覺與慣導，視覺與深度學習SLAM

第四部分中，將介紹激光雷達與視覺的融合。

SLAM綜述(4)激光與視覺融合SLAM

在1990年，[1]首次提出使用EKF（擴展卡爾曼濾波器）來逐步估計機器人姿態的后驗分布以及地標點的位置。實際上，機器人從未知環境的未知位置開始，通過反復觀測運動過程中的環境特征來定位自身的位置和姿態，然后根據自身的位姿都建周圍環境的增量圖，從而達到同時定位和地圖構建的目的。

實際上 定位問題是近年來非常復雜且熱點的問題。定位技術取決于環境對成本，準確性，定位頻率和魯棒性的需求，這可以通過GPS（全球定位系統），IMU（慣性測量單元）和無線信號等來實現[2]。但是GPS只能在室外工作，IMU系統具有累積誤差。無線技術作為一種主動系統，無法在成本和準確性之間取得平衡。隨著快速的發展，配備激光雷達，攝像頭，IMU和其他傳感器的SLAM近年來興起了。從基于過濾器的SLAM開始，基于圖的SLAM現在起著主要作用。該算法從KF（卡爾曼濾波器），EKF和PF（粒子濾波器）派生到基于圖形的優化。并且單線程已被多線程取代。SLAM的技術也從最早的軍事用途原型轉變為后來的多傳感器融合機器人應用。

激光雷達傳感器

激光雷達傳感器可分為2D激光雷達和3D激光雷達，它們由激光雷達光束的數量定義。在生產工藝方面，激光雷達還可分為機械激光雷達，混合式固態激光雷達（如MEMS）（微機電）和固態激光雷達。固態激光雷達可以通過相控陣和閃存技術生產。

Velodyne：在機械激光雷達中，它具有VLP-16，HDL-32E和HDL-64E。在混合固態激光雷達中，它具有32E的Ultra Puck Auto。可以說是資料最多，軟件最為完善的激光雷達。

SLAMTEC：它具有低成本的激光雷達和機器人平臺，例如RPLIDAR A1，A2和R3。單線激光雷達，是一個很好的激光SLAN入門的激光雷達，加上一個移動平臺，你就可以做出一個移動機器人。

Ouster：具有16至128通道的機械激光雷達。

Quanergy：S3是世界上第一個發布的固態激光雷達，M8是機械激光雷達。S3-QI是微固態激光雷達。

Ibeo：它具有機械激光雷達中的Lux 4L和Lux 8L。與法雷奧合作，它發布了混合動力固態激光雷達，名為Scala。

激光雷達的發展趨勢是小型化和輕質固態，激光雷達將占領市場，并能夠滿足大多數產品的應用。其他激光雷達公司包括但不限于sick, Hokuyo, HESAI, RoboSense, LeddarTech, ISureStar,benewake, Livox, Innovusion, Innoviz, Trimble, Leishen Intelligent System

2D激光雷達SLAM

?Gmapping：它是基于RBPF（Rao-Blackwellisation局部濾波器）方法的機器人中使用最多的SLAM軟件包。它增加了掃描匹配方法來估計位置[3]。它是基FastSLAM [4]的帶有柵格地圖的改進版本。gmapping中主要函數之間的調用關系

?HectorSlam：它將2D SLAM系統和3D導航與掃描匹配技術和慣性傳感系統結合在一起[5]。

?KartoSLAM：這是一個基于圖的SLAM系統[6]。

?LagoSLAM：其基礎是基于圖的SLAM，這是最小化非線性非凸代價函數的方法[7]。

?CoreSLAm：這是一種在性能損失最小的情況下可以理解的算法[8]。

? Cartographer ：這是Google的SLAM系統[9]。它采用了子地圖和閉環檢測，以實現更好的產品級性能。該算法可以跨多個平臺和傳感器配置以2D和3D提供SLAM。

3D 激光雷達SLAM

?Loam：這是一種使用3D Lidar [10]進行狀態估計實時構建地圖的方法。它還具有來回旋轉版本（應該是指激光掃描的方式）和連續掃描2D激光雷達版本。

?Lego-Loam：它從Velodyne VLP-16激光雷達（水平放置）和可選的IMU數據中輸入點云作為輸入。該系統實時輸出6D姿態估計，并具有全局優化和閉環檢測[11]。

? Cartographer：它支持2D和3D SLAM [9]。

?IMLS-SLAM：它提出了一種新的低漂移SLAM算法，該算法僅基于基于掃描模型匹配框架的3D LiDAR數據[10]。

基于深度學習的激光SLAM

基于特征的深度學習的檢測：

PointNetVLAD [11]允許端到端訓練從給定的3D點云中提取全局描述符，以解決基于點云的位置識別檢索。

VoxelNet [12]是一種通用的3D檢測網絡，它將特征提取和邊界框預測統一為一個單階段的，端到端的可訓練深度網絡，其他工作可以在BirdNet [13]中看到。

LMNet [14]描述了一種有效的單級深度卷積神經網絡，用于檢測對象并輸出對象圖和每個點的邊界框偏移值。

PIXOR [15]是一種無提議的單級檢測器，可輸出從像素級神經網絡預測中解碼的定向3D對象估計。

Yolo3D [16]建立在2D透視圖像空間中oneshot回歸元體系結構成功的基礎之上，并將其擴展以從LiDAR點云生成定向的3D對象邊界框。

PointCNN [17]建議從輸入的點云中學習X變換。X轉換是通過典型卷積算子的逐元素乘積和求和運算來應用的。

MV3D [18]是一種感覺融合框架，將激光雷達點云和RGB圖像作為輸入并預測定向的3D邊界框。

PU-GAN [19]提出了一種基于生成對抗網絡（GAN）的新的點云上采樣網絡。

點云的分割與識別：

對3D點云進行分割的方法可以分為基于邊緣的方法，區域增長，模型擬合，混合方法，機器學習應用程序和深度學習[20]。本文重點介紹深度學習的方法。

PointNet [21]設計了一種直接輸入點云的新型神經網絡，它具有分類，分割和語義分析的功能。

PointNet ++ [22]在PointNet的基礎上學習隨著上下文規模的增加而具有的層次結構特征。在基于PointNet ++的端到端3D對象檢測網絡。

VoteNet [23]為點云構建了一個3D檢測流程，SegMap [24]是基于3D點云中線段提取的定位和制圖問題的地圖表示解決方案。

SqueezeSeg [25]是具有遞歸CRF（條件隨機場）的卷積神經網絡，用于從3d激光雷達點云實時分割道路目標。

PointSIFT [26]是3D點云的語義分割框架。它基于一個簡單的模塊，該模塊從八個方向的相鄰點提取特征。

PointWise [27]提出了一種卷積神經網絡，用于使用3D點云進行語義分割和對象識別。3P-RNN [28]是一種新穎的端到端方法，用于沿兩個水平方向的非結構化點云語義分割，以利用固有的上下文特征。可以看到其他類似的工作，但不僅限于SPG [29]和審閱[30]。

SegMatch [31]是一種基于3D的分割檢測和匹配的閉環方法。

KdNetwork [32]專為3D模型識別任務而設計，可與非結構化點云一起使用。

DeepTemporalSeg [33]提出了一種深度卷積神經網絡（DCNN），用于在時間上具有一致性的LiDAR掃描的語義分割。

LU-Net [34]實現了語義分割的功能，而不是應用某些全局3D分割方法。

點云定位：

論文[35]是一種新穎的基于學習的LiDAR定位系統，可實現厘米級的定位精度。

SuMa ++ [36]在整個掃描過程中以點標記方式計算語義分割結果，從而使我們能夠構建帶有標記的surfels的語義豐富的地圖，并通過語義約束來改進投影掃描匹配

點云SLAM的挑戰與未來

1）成本和適應性

Lidar的優勢在于它可以提供3D信息，并且不受夜光變化的影響。另外，視角比較大，可以達到360度。但是激光雷達的技術門檻很高，導致開發周期長，成本高昂。未來小型化，合理的成本，固態以及實現高可靠性和適應性是趨勢。

2）低紋理和動態環境

大多數SLAM系統只能在固定環境中工作，但環境是會不斷變化。此外，低紋理的環境（如長走廊和大管道）將給激光雷達SLAM帶來麻煩。[37]使用IMU協助2D SLAM解決上述障礙。此外，[38]將時間維度納入構建地圖的過程，以使機器人能夠在動態環境中運行時保持準確的地圖。應該更加深入地考慮如何使Lidar SLAM對低紋理和動態環境更強大，以及如何使地圖保持最新狀態。

3）對抗傳感器攻擊

深度神經網絡很容易受到對抗性樣本的攻擊，這在基于相機的感知中也得到了證明。但是，在基于激光雷達的感知中，它非常重要，但尚未探索。[39]通過中繼攻擊，首先欺騙了激光雷達，干擾了輸出數據和距離估計。這種新穎的飽和度攻擊完全無法使激光雷達基于Velodynes VLP-16感測某個方向。[40]探索了策略性地控制欺騙性攻擊以欺騙機器學習模型的可能性。本文將任務作為優化問題，針對輸入擾動函數和目標函數設計建模方法，將攻擊成功率提高到75％左右。對抗性傳感器攻擊將欺騙基于激光雷達點云的SLAM系統，該系統幾乎很難發現和防御，因此是隱形的。在這種情況下，關于如何防止激光雷達SLAM系統受到對抗性傳感器攻擊的研究應該成為一個新課題。

參考文獻

[1] Randall Smith, Matthew Self, and Peter Cheeseman. Estimating uncertain spatial relationships in robotics. In Autonomous robot vehicles, pages 167–193. Springer, 1990.?

[2] Baichuan Huang, Jingbin Liu, Wei Sun, and Fan Yang. A robust indoor positioning method based on bluetooth low energy with separate channel information. Sensors, 19(16):3487, 2019.

[3] Sebastian Thrun, Wolfram Burgard, and Dieter Fox. Probabilistic robotics. MIT press, 2005.?

[4] Michael Montemerlo, Sebastian Thrun, Daphne Koller, Ben Wegbreit, et al. Fastslam 2.0: An improved particle filtering algorithm for simultaneous localization and mapping that provably converges. In IJCAI, pages 1151–1156, 2003. [5] Stefan Kohlbrecher, Oskar Von Stryk, Johannes Meyer, and Uwe Klingauf. A flexible and scalable slam system with full 3d motion estimation. In 2011 IEEE International Symposium on Safety, Security, and Rescue Robotics, pages 155–160. IEEE, 2011.?

[6] Kurt Konolige, Giorgio Grisetti, Rainer K ¨ummerle, Wolfram Burgard, Benson Limketkai, and Regis Vincent. Efficient sparse pose adjustment for 2d mapping. In 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems, pages 22–29. IEEE, 2010.?

[7] Luca Carlone, Rosario Aragues, Jos′e A Castellanos, and Basilio Bona. A linear approximation for graph-based simultaneous localization and mapping. Robotics: Science and Systems VII, pages 41–48, 2012.?

[8] B Steux and O TinySLAM El Hamzaoui. A slam algorithm in less than 200 lines c-language program. Proceedings of the Control Automation Robotics & Vision (ICARCV), Singapore, pages 7–10, 2010.?

[9] Wolfgang Hess, Damon Kohler, Holger Rapp, and Daniel Andor. Realtime loop closure in 2d lidar slam. In 2016 IEEE International Conference on Robotics and Automation (ICRA), pages 1271–1278. IEEE, 2016.?

[10] Jean-Emmanuel Deschaud. Imls-slam: scan-to-model matching based on 3d data. In 2018 IEEE International Conference on Robotics and Automation (ICRA), pages 2480–2485. IEEE, 2018.?

[11] Mikaela Angelina Uy and Gim Hee Lee. Pointnetvlad: Deep point cloud based retrieval for large-scale place recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4470–4479, 2018.?

[12] Yin Zhou and Oncel Tuzel. Voxelnet: End-to-end learning for point cloud based 3d object detection. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4490–4499, 2018.?

[13] Jorge Beltr′an, Carlos Guindel, Francisco Miguel Moreno, Daniel Cruzado, Fernando Garcia, and Arturo De La Escalera. Birdnet: a 3d object detection framework from lidar information. In 2018 21st International Conference on Intelligent Transportation Systems (ITSC), pages 3517–3523. IEEE, 2018.?

[14] Kazuki Minemura, Hengfui Liau, Abraham Monrroy, and Shinpei Kato. Lmnet: Real-time multiclass object detection on cpu using 3d lidar.

[15] Bin Yang, Wenjie Luo, and Raquel Urtasun. Pixor: Real-time 3d object detection from point clouds. In Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, pages 7652–7660, 2018.

?[16] Waleed Ali, Sherif Abdelkarim, Mahmoud Zidan, Mohamed Zahran, and Ahmad El Sallab. Yolo3d: End-to-end real-time 3d oriented object bounding box detection from lidar point cloud. In Proceedings of the European Conference on Computer Vision (ECCV), pages 0–0, 2018.

?[17] Yangyan Li, Rui Bu, Mingchao Sun, Wei Wu, Xinhan Di, and Baoquan Chen. Pointcnn: Convolution on x-transformed points. In Advances in Neural Information Processing Systems, pages 820–830, 2018.?

[18] Xiaozhi Chen, Huimin Ma, Ji Wan, Bo Li, and Tian Xia. Multi-view 3d object detection network for autonomous driving. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 1907–1915, 2017.

?[19] Ruihui Li, Xianzhi Li, Chi-Wing Fu, Daniel Cohen-Or, and PhengAnn Heng. Pu-gan: A point cloud upsampling adversarial network. In Proceedings of the IEEE International Conference on Computer Vision, pages 7203–7212, 2019.?

?[20] E Grilli, F Menna, and F Remondino. A review of point clouds segmentation and classification algorithms. The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 42:339, 2017.?

[21] Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. arXiv preprint arXiv:1612.00593, 2016.?

[22] Charles R Qi, Li Yi, Hao Su, and Leonidas J Guibas. Pointnet++: Deep hierarc

hical feature learning on point sets in a metric space. arXiv preprint arXiv:1706.02413, 2017.?

[23] Charles R Qi, Or Litany, Kaiming He, and Leonidas J Guibas. Deep hough voting for 3d object detection in point clouds. arXiv preprint arXiv:1904.09664, 2019. [24] Renaud Dube, Andrei Cramariuc, Daniel Dugas, Juan Nieto, Roland Siegwart, and Cesar Cadena. SegMap: 3d segment mapping using data-driven descriptors. In Robotics: Science and Systems (RSS), 2018.?

[25] Bichen Wu, Alvin Wan, Xiangyu Yue, and Kurt Keutzer. Squeezeseg: Convolutional neural nets with recurrent crf for real-time road-object segmentation from 3d lidar point cloud. ICRA, 2018.?

?[26] Mingyang Jiang, Yiran Wu, Tianqi Zhao, Zelin Zhao, and Cewu Lu. Pointsift: A sift-like network module for 3d point cloud semantic segmentation. arXiv preprint arXiv:1807.00652, 2018.?

[27] Binh-Son Hua, Minh-Khoi Tran, and Sai-Kit Yeung. Pointwise convolutional neural networks. In Computer Vision and Pattern Recognition (CVPR), 2018.?

[28] Xiaoqing Ye, Jiamao Li, Hexiao Huang, Liang Du, and Xiaolin Zhang. 3d recurrent neural networks with context fusion for point cloud semantic segmentation. In Proceedings of the European Conference on Computer Vision (ECCV), pages 403–417, 2018.?

[29] Loic Landrieu and Martin Simonovsky. Large-scale point cloud semantic segmentation with superpoint graphs. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4558–4567, 2018.?

[30] Renaud Dub′e, Daniel Dugas, Elena Stumm, Juan Nieto, Roland Siegwart, and Cesar Cadena. Segmatch: Segment based place recognition in 3d point clouds. In 2017 IEEE International Conference on Robotics and Automation (ICRA), pages 5266–5272. IEEE, 2017.?

[31] Roman Klokov and Victor Lempitsky. Escape from cells: Deep kdnetworks for the recognition of 3d point cloud models. In Proceedings of the IEEE International Conference on Computer Vision, pages 863– 872, 2017.?

[32] Ayush Dewan and Wolfram Burgard. Deeptemporalseg: Temporally consistent semantic segmentation of 3d lidar scans. arXiv preprint arXiv:1906.06962, 2019. [33] Pierre Biasutti, Vincent Lepetit, Jean-Franois Aujol, Mathieu Brdif, and Aurlie Bugeau. Lu-net: An efficient network for 3d lidar point cloud semantic segmentation based on end-to-end-learned 3d features and u-net. 08 2019.?

[34] Shaoshuai Shi, Xiaogang Wang, and Hongsheng Li. Pointrcnn: 3d object proposal generation and detection from point cloud. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 770–779, 2019.?

[35] Lu Weixin, Zhou Yao, Wan Guowei, Hou Shenhua, and Song Shiyu. L3-net: Towards learning based lidar localization for autonomous driving. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019.?

[36] Chen Xieyuanli, Milioto Andres, and Emanuelea Palazzolo. Suma++: Efficient lidar-based semantic slam. In 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2019.?

[37] Zhongli Wang, Yan Chen, Yue Mei, Kuo Yang, and Baigen Cai. Imuassisted 2d slam method for low-texture and dynamic environments. Applied Sciences, 8(12):2534, 2018.?

[38] Aisha Walcott-Bryant, Michael Kaess, Hordur Johannsson, and John J Leonard. Dynamic pose graph slam: Long-term mapping in low dynamic environments. In 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems, pages 1871–1878. IEEE, 2012.?

[39] Hocheol Shin, Dohyun Kim, Yujin Kwon, and Yongdae Kim. Illusion and dazzle: Adversarial optical channel exploits against lidars for automotive applications. In International Conference on Cryptographic Hardware and Embedded Systems, pages 445–467. Springer, 2017.?

[40] Yulong Cao, Chaowei Xiao, Benjamin Cyr, Yimeng Zhou, Won Park, Sara Rampazzi, Qi Alfred Chen, Kevin Fu, and Z Morley Mao. Adversarial sensor attack on lidar-based perception in autonomous driving. arXiv preprint arXiv:1907.06826, 2019

資源

三維點云論文及相關應用分享

【點云論文速讀】基于激光雷達的里程計及3D點云地圖中的定位方法

3D目標檢測：MV3D-Net

三維點云分割綜述（上）

3D-MiniNet: 從點云中學習2D表示以實現快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實現點云可視化GUI

JSNet：3D點云的聯合實例和語義分割

大場景三維點云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規模點云的顯示

基于局部凹凸性進行目標分割

基于三維卷積神經網絡的點云標記

點云的超體素(SuperVoxel)

基于超點圖的大規模點云分割

更多文章可查看：點云學習歷史文章大匯總

SLAM及AR相關分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動泊車系統中的語義SLAM

【點云論文速讀】StructSLAM:結構化線特征SLAM

SLAM和AR綜述

常用的3D深度相機

AR設備單目視覺慣導SLAM算法綜述與評價

SLAM綜述(4)激光與視覺融合SLAM

Kimera實時重建的語義SLAM系統

SLAM綜述(3)-視覺與慣導，視覺與深度學習SLAM

易擴展的SLAM框架-OpenVSLAM

高翔：非結構化道路激光SLAM中的挑戰

SLAM綜述之Lidar SLAM

基于魚眼相機的SLAM方法介紹

往期線上分享錄播匯總

第一期B站錄播之三維模型檢索技術

第二期B站錄播之深度學習在3D場景中的應用

第三期B站錄播之CMake進階學習

第四期B站錄播之點云物體及六自由度姿態估計

第五期B站錄播之點云深度學習語義分割拓展

第六期B站錄播之Pointnetlk解讀

[線上分享錄播]點云配準概述及其在激光SLAM中的應用

[線上分享錄播]cloudcompare插件開發

[線上分享錄播]基于點云數據的?Mesh重建與處理

[線上分享錄播]機器人力反饋遙操作技術及機器人視覺分享

[線上分享錄播]地面點云配準與機載點云航帶平差

點云PCL更多活動請查看：點云PCL活動之應屆生校招群

掃描下方微信視頻號二維碼可查看最新研究成果及相關開源方案的演示：

如果你對本文感興趣，請點擊“歷史文章”獲取知識星球二維碼，務必按照“姓名+學校/公司+研究方向”備注加入免費知識星球，免費下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

由于排版問題，文章刪減部分內容，如有疑問可以“原文閱讀”查看原文，或者加入星球與翻譯者一起交流，以上內容如有侵權，請聯系刪除

點云PCL

?掃碼關注我們?

排版：楊滾滾?供稿：particle

?點一下“在看”你會更好看耶

總結

以上是生活随笔為你收集整理的SLAM综述(1)-Lidar SLAM的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。