點擊上方“3D視覺工坊”，選擇“星標”

干貨第一時間送達

作者丨paopaoslam

來源丨泡泡機器人SLAM

標題：

CLOCs: Camera-LiDAR Object Candidates Fusion for 3D Object Detection

作者：Su Pang, Daniel Morris, Hayder Radha

編譯：張毅Roy

審核：Lionheart，志勇

摘要

我們在利用神經網絡解決3D-LiDAR和2D-Camera物體識別的問題上有非常大的進展。然而利用兩個不同的模型達到單個模型那樣高效的訓練神經網絡卻非常困難。在本文中，我們提出了一種新穎的Camera-LiDAR（CLOCs）融合網絡。CLOCs 融合提供了一個低復雜度的多模態(tài)融合框架，顯著提高了單模態(tài)檢測器的性能。CLOCs會利用在非極大值抑制（NMS）之前的產生的3D和2D檢測器的輸出結果（候選物體），同時會利用其幾何和語義的一致性以達到更準確的檢測精度。本文的實驗數據為KITTI物體識別，包括3D和鳥瞰視角指標，實驗結果顯示出本文提出的算法相比其他算法有顯著的提升，尤其在遠距離的數據運用該算法上超過了現有最先進的基于融合的算法。在提交時，CLOCs在官方KITTI 排行榜中所有基于融合的方法中排名最高。我們將發(fā)布我們的代碼。

相關工作

3D物體檢測主要可以分為三類：（1） 2D圖片，（2）3D點云，（3）圖片與點云。2D圖片檢測很難給出準確的三維邊界。3D點云檢測是最近比較流行的研究方向，但是在遠距離的物體檢測上也有明顯短板。基于多模型的融合的3D檢測也有很多方向。多模型的融合方法可以大概分為三類：早期融合，深度融合，晚期融合，他們各有各的有優(yōu)點和缺點。雖然來說早期融合和深度融合有最大的潛力可以利用跨模型態(tài)的信息，但是由于數據協調性或者叫對齊性非常的難以調整，需要很復雜的構架來支撐算法。而晚期融合在構架上會比較簡單，而且可以容易的構建預訓練和單模型檢測器。

整體框架

CLOCs 融合網絡構架。首先將2D和3D檢查后的候選物體轉換為聯合的檢測候選物體集合，然后在疏松的輸入tensor里使用2D-CNN處理非0元素。最后，這個被處理的tensor會通過最大池化被映射到期望的學習目標中。

論文關鍵點介紹

幾何和語義一致性

對于給定的一幀圖像和激光雷達數據可能在每個模態(tài)中存在眾多有不同置信度的檢測候選物體，從這些候選物體中，我們尋找多個3D檢測物體和分數組成集合。融合這些檢測候選者需要找到不同模態(tài)之間的聯系。為此，我們構建了一個關于幾何圖形關聯和應用語義一致性的評分機制，詳細描述如下。

幾何一致性

被正確檢測到的物體對象通過2D和3D檢測器將會有一個相似的邊界框，見圖2。如果在位姿上的有小的誤差會減少重疊的部分。這會讓一個基于圖像的邊界框的聯合相交(IoU)的投影角的二維邊界框和三維檢測的邊界框可以量化他們之間的幾何一致性。

語義一致性

探測器可輸出多個對象的類別，但我們只關聯同樣類別的候選物體。我們在這個階段避免閾值檢測(或使用非常低的閾值)，將閾值的使用留給最終的依據得分的輸出階段。

2D的監(jiān)測候選物體可以由下面公式表示：

3D的檢測候選物體可以由公式2表示：

對于k個2D檢測和n個3D檢測，我可以建立一個k*n*4的長量tensor T,可以表示為

當IoU為0時，相當于這個長量不存在了，因為在空間上他們是幾何不一致的。

結果

上述表格，使用KITTI數據在各個相機激光雷達融合算法的物體識別比較。可以看到CLOCs融合比其他的融合算法都可以獲得更好的效果。

上圖是根據距離的平均精確度（AP）的比較，可以看到CLOCs在長距離（４０～５０m）有更高的精度。

上圖為本文提出的CLOCs在KITTI測試集上的結果與SECOND相比較。紅色和藍色的邊框是CLOCs分別糾正了來自SECOND的錯誤檢測和未檢測的物體。綠色邊框是正確的檢測。每幅圖像的上一行是投影到圖像上的三維檢測，其余的是激光雷達的三維檢測點云。

Abstract

There have been significant advances in neural networks for both 3D object detection using LiDAR and 2D object detection using video. However, it has been surprisingly difficult to train networks to effectively use both modalities in a way that demonstrates gain over single-modality networks. In this paper, we propose a novel Camera-LiDAR Object Candidates (CLOCs) fusion network. CLOCs fusion provides a low-complexity multi-modal fusion framework that significantly improves the performance of single-modality detectors.

CLOCs operates on the combined output candidates before Non-Maximum Suppression (NMS) of any 2D and any 3D detector, and is trained to leverage their geometric and semantic consistencies to produce more accurate final 3D and 2D detection results. Our experimental evaluation on the challenging KITTI object detection benchmark, including 3D and bird’s eye view metrics, shows significant improvements, especially at long distance, over the state-of-the-art fusion based methods. At time of submission, CLOCs ranks the highest among all the fusion-based methods in the official KITTI leaderboard. We will release our code upon acceptance.

本文僅做學術分享，如有侵權，請聯系刪文。

干貨下載與學習

后臺回復：巴塞羅那自治大學課件，即可下載國外大學沉淀數年3D Vison精品課件

后臺回復：計算機視覺書籍，即可下載3D視覺領域經典書籍pdf

后臺回復：3D視覺課程，即可學習3D視覺領域精品課程

3D視覺精品課程推薦：

1.面向自動駕駛領域的多傳感器數據融合技術

2.面向自動駕駛領域的3D點云目標檢測全棧學習路線！(單模態(tài)+多模態(tài)/數據+代碼)
3.徹底搞透視覺三維重建：原理剖析、代碼講解、及優(yōu)化改進
4.國內首個面向工業(yè)級實戰(zhàn)的點云處理課程
5.激光-視覺-IMU-GPS融合SLAM算法梳理和代碼講解
6.徹底搞懂視覺-慣性SLAM：基于VINS-Fusion正式開課啦
7.徹底搞懂基于LOAM框架的3D激光SLAM: 源碼剖析到算法優(yōu)化
8.徹底剖析室內、室外激光SLAM關鍵算法原理、代碼和實戰(zhàn)(cartographer+LOAM +LIO-SAM)

9.從零搭建一套結構光3D重建系統[理論+源碼+實踐]

10.單目深度估計方法：算法梳理與代碼實現

11.自動駕駛中的深度學習模型部署實戰(zhàn)

12.相機模型與標定(單目+雙目+魚眼）

13.重磅！四旋翼飛行器：算法與實戰(zhàn)

14.ROS2從入門到精通：理論與實戰(zhàn)

15.國內首個3D缺陷檢測教程：理論、源碼與實戰(zhàn)

重磅！3DCVer-學術論文寫作投稿?交流群已成立

掃碼添加小助手微信，可申請加入3D視覺工坊-學術論文寫作與投稿?微信交流群，旨在交流頂會、頂刊、SCI、EI等寫作與投稿事宜。

同時也可申請加入我們的細分方向交流群，目前主要有3D視覺、CV&深度學習、SLAM、三維重建、點云后處理、自動駕駛、多傳感器融合、CV入門、三維測量、VR/AR、3D人臉識別、醫(yī)療影像、缺陷檢測、行人重識別、目標跟蹤、視覺產品落地、視覺競賽、車牌識別、硬件選型、學術交流、求職交流、ORB-SLAM系列源碼交流、深度估計等微信群。

一定要備注：研究方向+學校/公司+昵稱，例如：”3D視覺?+ 上海交大 + 靜靜“。請按照格式備注，可快速被通過且邀請進群。原創(chuàng)投稿也請聯系。

▲長按加微信群或投稿

▲長按關注公眾號

3D視覺從入門到精通知識星球：針對3D視覺領域的視頻課程（三維重建系列、三維點云系列、結構光系列、手眼標定、相機標定、激光/視覺SLAM、自動駕駛等）、知識點匯總、入門進階學習路線、最新paper分享、疑問解答五個方面進行深耕，更有各類大廠的算法工程人員進行技術指導。與此同時，星球將聯合知名企業(yè)發(fā)布3D視覺相關算法開發(fā)崗位以及項目對接信息，打造成集技術與就業(yè)為一體的鐵桿粉絲聚集區(qū)，近5000星球成員為創(chuàng)造更好的AI世界共同進步，知識星球入口：

學習3D視覺核心技術，掃描查看介紹，3天內無條件退款

?圈里有高質量教程資料、答疑解惑、助你高效解決問題

覺得有用，麻煩給個贊和在看~??

總結

以上是生活随笔為你收集整理的CLOCs：一种相机-激光雷达3D目标检测后融合方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。