點云PCL免費知識星球，點云論文速讀。

標題：End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection

作者：Rui Qian, Divyansh Garg Yan Wang

來源：CVPR 2020

星球ID：particle

本文僅做學術分享，如有侵權，請聯系刪除。歡迎各位加入免費知識星球，獲取PDF論文，歡迎轉發朋友圈分享快樂。

論文閱讀模塊將分享點云處理，SLAM，三維視覺，高精地圖相關的文章。公眾號致力于理解三維視覺領域相關內容的干貨分享，歡迎各位加入我，我們一起每天一篇文章閱讀，開啟分享之旅,有興趣的可聯系微信dianyunpcl@163.com。

●論文摘要

可靠、準確的三維物體檢測是安全自主駕駛的必要條件。盡管激光雷達傳感器可以提供周圍環境的三維點云數據，但在許多情況下，它們的成本也高得讓人望而卻步。最近，偽激光雷達（PL）的引入使得基于LiDAR傳感器的方法與基于廉價立體相機的方法之間的精度差距大大縮小。PL通過將二維深度圖輸出轉換為三維點云輸入，將用于三維深度估計的最新深度神經網絡與用于三維目標檢測的深度神經網絡相結合。然而，到目前為止，這兩個網絡必須分開訓練。在本文中，我們介紹了一個新的框架，它基于differentiable Change of Representation（CoR）模塊，允許對整個PL流程進行端到端的訓練。該框架與大多數最先進的網絡兼容，適用于這兩項任務，并與PointRCNN相結合，在所有測試數據集中中始終優于其他方法的PL方法，在基于KITTI圖像的3D目標檢測排行榜上獲得了最高的排名。代碼開源在? https://github.com/mileyan/pseudo-LiDAR_e2e

●內容介紹

雖然偽激光雷達模塊在概念上是很吸引人的研究，但是需要兩個獨立的訓練系統組合會產生一定的性能損失，特別是，偽激光雷達需要兩個系統：一個是深度估計器，能夠訓練出一個通用的深度估計的圖像，另一個是目標檢測器將訓練得到的深度估計轉換到點云數據上，這兩個訓練目標不太可能與最終的目標最佳匹配，以最大的限度的提高檢測精度，文章選擇可具有代表性的目標檢測POXOR和PointRCNN來驗證提出的端到端的偽激光雷達（E2E-PL）方法，在所有評估設置中，我們都優于基線偽激光雷達管道和改進的PL++算法，并且顯著優于其他基于圖像的三維物體探測器。在提交時，我們的E2E-PL和PointRCNN在基于KITTI圖像的3D物體檢測排行榜上保持著最好的結果。我們的定性結果進一步證實了端到端的訓練可以有效地計算深度估計器在目標邊界附近改進其估計，這對于精確地定位目標至關重要

端到端學習器流程說明。綠色包圍盒是汽車的地面真相檢測。黃色的點是來自激光雷達的點。粉紅色點云是由一個獨立訓練的深度估計器生成的，它是不準確的，并且不在綠盒內。通過端到端的深度估計和三維目標檢測，得到了較好的藍色點云。在此基礎上，目標探測器可以產生最先進的性能。

1

端到端的偽激光雷達

偽激光雷達流程上分兩種目標不同的訓練步驟。首先，深度學習估計器來估計立體圖像中所有像素的一般深度；然后訓練基于激光雷達的探測器。

端到端的偽激光雷達：端到端基于圖像的三維目標檢測：我們引入了一個表示層的改變，將深度估計網絡的輸出作為三維目標檢測網絡的輸入。其結果是一個端到端的管道，直接從立體圖像生成對象邊界框，并允許在所有層進行反向傳播。黑色實心箭頭表示向前通過；藍色和紅色虛線箭頭分別表示目標檢測損失和深度損失的反向過程。*表示我們的CoR層能夠反推不同表示之間的梯度。

量化：我們使用軟量化或硬量化對輸入的偽激光雷達（PL）點云進行體素化。綠色體素是那些受PL點影響的體素。具有檢測損失L_det正梯度的藍色體素施加力將點從其中心推到其他體素，而具有負梯度的紅色體素施加力將其他體素的點拉到其中心。只有當PL點影響這些體素時，紅、藍體軸上的這些力才能影響PL點。軟量化增加PL點的影響區域，從而增加力，允許其他體素的點被推開或拉向。因此，更新后的PL點可以變得更接近地面真實激光雷達點云。

深度估計的定性結果。PL++（僅限圖像）的頂部有許多估計錯誤的像素。通過端到端的訓練，提高了對車輛周圍深度的估計，得到的偽激光雷達點云具有更好的質量。

鳥瞰圖的結果。紅色邊界框表示地面真實，綠色邊界框表示檢測結果。PL++（僅限圖像）錯過了許多遠處的汽車，并且邊界框定位較差。通過使用端到端的訓練，我們可以得到更精確的預測（第一列和第二列），并減少假陽性預測（第三列）

●總結

本文介紹了一種偽激光雷達的端到端訓練框架[1，2]。我們提出的框架可以適用于三維目標探測器，它可以是直接點云輸入，也可以是量化結構輸入。由此產生的模型在基于圖像的三維物體檢測方面開創了新的技術水平，并進一步縮小了立體和基于激光雷達的傳感器之間剩余的精度差距。

參考文獻

【1】Yan Wang, Wei-Lun Chao, Divyansh Garg, Bharath Hariharan, Mark Campbell, and Kilian Q. Weinberger. Pseudo-lidar from visual depth estimation: Bridging the gap in 3d object detection for autonomous driving. In CVPR, 2019.?

【2】Yurong You, Yan Wang, Wei-Lun Chao, Divyansh Garg, Geoff Pleiss, Bharath Hariharan, Mark Campbell, and Kilian Q Weinberger. Pseudo-lidar++: Accurate depth for 3d object detection in autonomous driving. In ICLR, 2020.

資源

三維點云論文及相關應用分享

【點云論文速讀】基于激光雷達的里程計及3D點云地圖中的定位方法

3D目標檢測：MV3D-Net

三維點云分割綜述（上）

3D-MiniNet: 從點云中學習2D表示以實現快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實現點云可視化GUI

JSNet：3D點云的聯合實例和語義分割

大場景三維點云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規模點云的顯示

基于局部凹凸性進行目標分割

基于三維卷積神經網絡的點云標記

點云的超體素(SuperVoxel)

基于超點圖的大規模點云分割

更多文章可查看：點云學習歷史文章大匯總

SLAM及AR相關分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動泊車系統中的語義SLAM

【點云論文速讀】StructSLAM:結構化線特征SLAM

SLAM和AR綜述

常用的3D深度相機

AR設備單目視覺慣導SLAM算法綜述與評價

SLAM綜述(4)激光與視覺融合SLAM

Kimera實時重建的語義SLAM系統

SLAM綜述(3)-視覺與慣導，視覺與深度學習SLAM

易擴展的SLAM框架-OpenVSLAM

高翔：非結構化道路激光SLAM中的挑戰

SLAM綜述之Lidar SLAM

基于魚眼相機的SLAM方法介紹

往期線上分享錄播匯總

第一期B站錄播之三維模型檢索技術

第二期B站錄播之深度學習在3D場景中的應用

第三期B站錄播之CMake進階學習

第四期B站錄播之點云物體及六自由度姿態估計

第五期B站錄播之點云深度學習語義分割拓展

第六期B站錄播之Pointnetlk解讀

[線上分享錄播]點云配準概述及其在激光SLAM中的應用

[線上分享錄播]cloudcompare插件開發

[線上分享錄播]基于點云數據的?Mesh重建與處理

[線上分享錄播]機器人力反饋遙操作技術及機器人視覺分享

[線上分享錄播]地面點云配準與機載點云航帶平差

點云PCL更多活動請查看：點云PCL活動之應屆生校招群

掃描下方微信視頻號二維碼可查看最新研究成果及相關開源方案的演示：

如果你對本文感興趣，請點擊“原文閱讀”獲取知識星球二維碼，務必按照“姓名+學校/公司+研究方向”備注加入免費知識星球，免費下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

掃描二維碼

? ? ? ? ? ? ? ? ? ?關注我們

讓我們一起分享一起學習吧！期待有想法，樂于分享的小伙伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點云，高精地圖，自動駕駛，以及機器人等相關的領域。

分享及合作方式：可聯系微信“920177957”（需要按要求備注）聯系郵箱：dianyunpcl@163.com，歡迎企業來聯系公眾號展開合作。

點一下“在看”你會更好看耶

總結

以上是生活随笔為你收集整理的【论文速读】基于图像的伪激光雷达三维目标检测的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。