CVPR2020論文介紹： 3D 目標檢測高效算法

CVPR
2020：
Structure Aware Single-Stage 3D Object Detection from Point
Cloud

隨著CVPR2020入選論文的曝光，一篇關(guān)于自動駕駛的文章被錄用，該論文提出了一個通用、高性能的自動駕駛檢測器，首次實現(xiàn)3D物體檢測精度與速度的兼得，有效提升自動駕駛系統(tǒng)安全性能。目前，該檢測器在自動駕駛領(lǐng)域權(quán)威數(shù)據(jù)集KITTI BEV排行榜上排名第三。論文是如何解決物體檢測難題的？

View Aggregation

利用Anchor grid作為感興趣區(qū)域進行Crop和Resize到同一大小，然后將兩者的特征進行element-wise sum，然后進行3D proposals的第一次回歸。然后進行NMS，使用proposals對feature map再次進行Crop和Resize, 然后再次回歸，修正proposals，通過NMS得到Object Bounding Boxes。

上圖中左邊的Fully Connected Layers回歸車輛位置的尺寸，右邊的Fully Connected Layers回歸車輛的朝向角。

3D
目標檢測需輸出物體類別及在三維空間中的長寬高、旋轉(zhuǎn)角等信息

與普通的 2D 圖像識別應(yīng)用不同，自動駕駛系統(tǒng)對精度和速度的要求更高，檢測器不僅需要快速識別周圍環(huán)境的物體，還要對物體在三維空間中的位置做精準定位。然而，目前主流的單階段檢測器和兩階段檢測器均無法平衡檢測精度和速度，這極大地限制了自動駕駛安全性能。

此次，論文提出了新的思路即將兩階段檢測器中對特征進行細粒度刻畫的方法集成到單階段檢測器。具體來說，在訓(xùn)練中利用一個輔助網(wǎng)絡(luò)將單階段檢測器中的體素特征轉(zhuǎn)化為點級特征，并施加一定的監(jiān)督信號，同時在模型推理過程中輔助網(wǎng)絡(luò)無需參與計算，因此，在保障速度的同時又提高了檢測精度。

以下是第一作者 Chenhang He 對該論文做出的解讀：

1. 背景

2D Object Detection 的研究已經(jīng)非常成熟了，代表作品有RPN系列的FasterRCNN和MaskRCNN，One
Shot系列的YOLOv1-YOLOv3。在2D Object
Detection的基礎(chǔ)上又提出了新的要求3D Object Detection。問題的具體描述檢測環(huán)境中的三維物體，并給出物體的Bounding Box。相比于2D，3D的Bounding Box的表示除了多了一個維度的位置和尺寸，還多了三個角度?？梢韵胂?#xff0c;一架飛機的Bounding Box的尺寸的是固定的，飛機的姿態(tài)除了位置之外，還有俯仰角、偏航角和翻滾角三個角度。

目前對于3D Object Detection有迫切需求的產(chǎn)業(yè)是自動駕駛產(chǎn)業(yè)，因為要想安全的自動駕駛，需要周圍障礙物的三維位姿，在圖片中的二維位姿不帶深度信息，沒有辦法有效避免碰撞。所以3D Object Detection的數(shù)據(jù)集大多也是自動駕駛數(shù)據(jù)集，類別也主要是車輛和行人等，比較常用的有KITTI和kaist。由于自動駕駛針對車輛，所以障礙物的高度的檢測對于安全行駛并沒有十分重要，而障礙物都在陸地上，所以也不存在俯仰角和翻滾角兩個角度。所以有些3D Object Detection方法將這三值忽略了。

目標檢測是計算機視覺領(lǐng)域的傳統(tǒng)任務(wù)，與圖像識別不同，目標檢測不僅需要識別出圖像上存在的物體，給出對應(yīng)的類別，還需要將該物體通過 Bounding box 進行定位。根據(jù)目標檢測需要輸出結(jié)果的不同，一般將使用 RGB 圖像進行目標檢測，輸出物體類別和在圖像上 2D bounding box 的方式稱為
2D 目標檢測。而將使用 RGB 圖像、RGB-D 深度圖像和激光點云，輸出物體類別及在三維空間中的長寬高、旋轉(zhuǎn)角等信息的檢測稱為 3D 目標檢測。

從點云數(shù)據(jù)進行 3D 目標檢測是自動駕駛（AV）系統(tǒng)中的的關(guān)鍵組件。與僅從圖像平面估計 2D 邊界框的普通 2D 目標檢測不同，AV 需要從現(xiàn)實世界估計更具信息量的 3D 邊界框，以完成諸如路徑規(guī)劃和避免碰撞之類的高級任務(wù)。這激發(fā)了最近出現(xiàn)的 3D 目標檢測方法，該方法應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)（CNN）處理來自高端 LiDAR 傳感器的點云數(shù)據(jù)。

3D Detection with Frustum PointNets

模型主要分為3部分：

·
frustum proposao

· 3D
instance segmentation

· 3D
amodal bounding box estimation

對于實時3D
sensor采集的3D數(shù)據(jù)還是比2D數(shù)據(jù)的分辨率要低很多，所以用2D圖片和2D目標檢測的方法來提proposal(同時進行分類)效果很好。

This normalization helps improve the rotation-invariance of the
algorithm.

目前基于點云的 3D 物體檢測主要有兩種架構(gòu)：

1、單階段檢測器 (single-stage): 將點云編碼成體素特征 (voxel feature), 并用
3D CNN 直接預(yù)測物體框, 速度快。但是由于點云在 CNN 中被解構(gòu),
對物體的結(jié)構(gòu)感知能力差, 所以精度略低。2、兩階段檢測器 (two-stage): 首先用 PointNet 提取點級特征, 并利用候選區(qū)域池化點云 (Pooling from point cloud) 以獲得精細特征. 通常能達到很高的精度但速度很慢。

2. 方法

目前業(yè)界主要以單階段檢測器為主，這樣能保證檢測器能高效地在實時系統(tǒng)上進行。本文提出的方案將兩階段檢測器中對特征進行細粒度刻畫的思想移植到單階段檢測中，通過在訓(xùn)練中利用一個輔助網(wǎng)絡(luò)將單階段檢測器中的體素特征轉(zhuǎn)化為點級特征，并施加一定的監(jiān)督信號，從而使得卷積特征也具有結(jié)構(gòu)感知能力，進而提高檢測精度。而在做模型推斷時，輔助網(wǎng)絡(luò)并不參與計算（detached）, 進而保證了單階段檢測器的檢測效率。另外本文提出一個工程上的改進，Part-sensitive Warping (PSWarp), 用于處理單階段檢測器中存在的 “框 - 置信度 - 不匹配”
問題。

主體網(wǎng)絡(luò)

用于部署的檢測器， 即推斷網(wǎng)絡(luò)， 由一個骨干網(wǎng)絡(luò)和檢測頭組成。骨干網(wǎng)絡(luò)用 3D 的稀疏網(wǎng)絡(luò)實現(xiàn)，用于提取含有高語義的體素特征。檢測頭將體素特征壓縮成鳥瞰圖表示，并在上面運行 2D 全卷積網(wǎng)絡(luò)來預(yù)測 3D 物體框。

輔助網(wǎng)絡(luò)

在訓(xùn)練階段，本文提出一個輔助網(wǎng)絡(luò)來抽取骨干網(wǎng)絡(luò)中間層的卷積特征，并將這些特征轉(zhuǎn)化成點級特征 (point-wise feature)。在實現(xiàn)上，本文將卷積特征中的非零信號映射到原始的點云空間中， 然后在每個點上進行插值，這樣本文就能獲取卷積特征的點級表示。令 {():j=0,…,M} 為卷積特征在空間中的表示, {:i=0,…,N}為原始點云, 則卷積特征在原始點上的表示 等于

輔助任務(wù)

本文提出兩種基于點級特征的監(jiān)督策略來幫助卷積特征獲得很好的結(jié)構(gòu)感知力， 一個前景分割任務(wù)， 一個中心點回歸任務(wù)。

具體來說，相比于 PointNet 特征提取器
(a)，
卷積網(wǎng)絡(luò)中的卷積操作和下采樣會造成點云結(jié)構(gòu)的破壞 （b）使得特征對物體的邊界與內(nèi)部結(jié)構(gòu)不敏感。本文利用分割任務(wù)來保證部分卷積特征在下采樣時不會被背景特征影響 ?，從而加強對邊界的感知。本文利用中心點回歸任務(wù)來加強卷積特征對物體內(nèi)部結(jié)構(gòu)的感知能力 (d)，使得在少量點的情況下也能合理的推斷出物體的潛在大小，形狀。本文使用 focal loss 和
smooth-l1 對分割任務(wù)與中心回歸任務(wù)分辨進行優(yōu)化。

3. 工程上的改進

在單階段檢測中， feature map 和
anchor 的對齊問題是普遍存在的問題， 這樣會導(dǎo)致預(yù)測出來的邊界框的定位質(zhì)量與置信度不匹配，這會影響在后處理階段（NMS）時， 高置信度但低定位質(zhì)量的框被保留，
而定位質(zhì)量高卻置信度低的框被丟棄。在 two-stage 的目標檢測算法中，RPN 提取 proposal，然后會在 feature map 上對應(yīng)的的位置提取特征（roi-pooling 或者 roi-align），這個時候新的特征和對應(yīng)的 proposal 是對齊的。本文提出了一個基于 PSRoIAlign 的改進，Part-sensitive Warping
(PSWarp), 用來對預(yù)測框進行重打分。

如上圖， 本文首先修改最后的分類層以生成 K 個部分敏感的特征圖，用{X_k：k = 1,2，…，K}表示，每個圖都編碼對象的特定部分的信息。例如，在 K = 4 的情況下，會生成 {左上，右上，左下，右下} 四個局部敏感的特征圖。同時，本文將每個預(yù)測邊界框劃分為 K 個子窗口，然后選擇每個子窗口的中心位置作為采樣點。這樣，本文可以生成 K 個采樣網(wǎng)格{S^k：k
= 1,2，…，K}，每個采樣網(wǎng)格都與該局部對應(yīng)的特征圖相關(guān)聯(lián)。如圖所示，本文利用采樣器， 用生成的采樣網(wǎng)格在對應(yīng)的局部敏感特征圖上進行采樣，生成對齊好的特征圖。最終能反映置信度的特征圖則是 K 個對齊好特征圖的平均。

4. 效果

本文提出的方法 (黑色)
在 KITTI 數(shù)據(jù)庫上的 PR Curve， 其中實線為兩階段方法， 虛線為單階段方法?？梢钥吹奖疚淖鳛閱坞A段方法能夠達到兩階段方法才能達到的精度。

data-ratio=0.4769585253456221
data-src=“https://mmbiz.qpic.cn/mmbiz_jpg/InRzPPAWvxULPUk3aS1Le71pckCCTVFWLx9fXF50BtYiaiaDsH4JiaMibx0XP0zStw7fSe3SsboFmBWX7ryxHHiboTw/640?wx_fmt=jpeg”
data-type=jpeg data-w=1736 _width=677px class=“img_loading”
crossorigin=anonymous v:shapes="_x0000_i1026">

在 KITTI 鳥瞰
(BEV) 和 3D 測試集的效果。優(yōu)點是在保持精度的同時，不增加額外的計算量，能達到 25FPS 的檢測速度。

總結(jié)

以上是生活随笔為你收集整理的CVPR2020论文介绍： 3D 目标检测高效算法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。