文章目錄

• 1. 基于激光雷達的物體檢測
• • 1.1 物體檢測的輸入與輸出
  • 1.2 點云數據庫
  • 1.3 激光雷達物體檢測算法
  • • 1.3.1 點視圖
    • • 1.3.1.1 PointNet
      • 1.3.1.2 PointNet++
      • 1.3.1.3 Point-RCNN
      • 1.3.1.4 3D-SSD
      • 1.3.1.5 總結和對比
    • 1.3.2 俯視圖
    • • 1.3.2.1 VoxelNet
      • 1.3.2.2 SECOND
      • 1.3.2.3 PIXOR
      • 1.3.2.4 AFDet
      • 1.3.2.5 總結與對比
    • 1.3.3 前視圖
    • • 1.3.3.1 LaserNet
      • 1.3.3.2 RangeDet
    • 1.3.4 多視圖融合 （俯視圖+點視圖）
    • • 1.3.4.1 PointPillar
      • 1.3.4.2 SIENet
      • 1.3.4.3 PV-CNN
    • 1.3.5 多視圖融合（俯視圖+前視圖）
    • • 1.3.5.1 MV3D
      • 1.3.5.2 RSN
• 聲明

1. 基于激光雷達的物體檢測

1.1 物體檢測的輸入與輸出

輸入
? 點：X, Y, Z和反射強度R
? 點云：多個點的集合（無序的，非結構化的數據）
輸出
? 目標的類別和置信度
? 目標的邊框（BoundingBox）
中心點3D坐標，長寬高，旋轉角度
?目標的其它信息
速度，加速度等
算法
? 點云表示：點視圖，俯視圖，前視圖

1.2 點云數據庫

????如下表所示：常見的點云數據庫由KITTI、NuScenes、WOD等數據庫。

1.3 激光雷達物體檢測算法

????為了直觀，先將激光雷達物體檢測的一些常用算法列出。

算法類別算法

點視圖	PointNet/PointNet++，Point-RCNN，3D-SSD
俯視圖	VoxelNet，SECOND，PIXOR，AFDet
前視圖	LaserNet，RangeDet
多視圖融合 （俯視圖+點視圖）	PointPillar，SIENet，PV-CNN
多視圖融合（俯視圖+前視圖）	MV3D，RSN

1.3.1 點視圖

1.3.1.1 PointNet

Qi et al., Pointnet: Deep learning on point sets for 3d classification and segmentation, 2017.
論文地址：https://arxiv.org/pdf/1612.00593.pdf

????PointNet有以下的用法：

• 識別/分類（Classification）：對于給定的一幀點云，判斷該 點云中物體所屬的種類。

• 分割（segmentation）：對于給定的一幀點云，將點云分成 若干個特定的、具有獨特性質的區域。

核心思路：點云特征提取

• MLP（多個全連接層）提取點特征：n個點，特征由3維提升到1024維
• MaxPooling得到全局特征：1024維

端對端學習，對點云進行分類/語義分割
物體檢測：Clustering得到候選 + PointNet分類

1.3.1.2 PointNet++

Qi et al., Pointnet++: Deep hierarchical feature learning on point sets in a metric space, 2017.

論文地址：https://papers.nips.cc/paper/2017/file/d8bf84be3800d12f74d8b05e9b89836f-Paper.pdf

在物體檢測方向進行擴展：Clustering+PointNet

• 用聚類的方式來產生多個候選點集，每個候選點集采用PointNet來提取點的特征
• 上述過程重復多次：上一層的點集經過全局特征提取后看作下一層的點（Set Abstraction，SA）
• 點特征具有較大的感受野，包含周圍環境的上下文信息

PointNet和PointNet++中存在的問題

• 無法利用視覺領域成熟的檢測框架，比如Faster-RCNN，YOLO等
• Clustering部分的計算復雜度較高，而且難以并行處理
• 兩個改進方法：Point-RCNN和3D-SSD

1.3.1.3 Point-RCNN

Shi et al., PointRCNN: 3D Object Proposal Generation and Detection from Point Cloud, 2018

論文地址：https://arxiv.org/pdf/1812.04244.pdf

????PointRCNN是一個兩步式目標檢測網絡，該網絡第一步進行前景點分割，找出點云中所有的目標點；第二步利用前景點回歸目標的準確邊界框。該網絡同時兼顧了檢測的準確（AP@0.7=75.6%）與實時性（10FPS）。

點處理 + Faster RCNN

• PointNet++提取點特征，同時進行前景分割，以區分物體點和背景點
• 每個前景點生成一個3D候選框（PointNet++采用聚類生成候選）
• 對每個候選框內的點進行Pooling，最后輸出候選框所屬的類別，修正其位置和大小

運行速度瓶頸++中的Feature Propagation

• PointNet++需要將點集特征映射回原始點云（Feature Propagation）， 因為聚類生成的點集無法很好的覆蓋所有物體
• 全局搜索屬于每個物體候選的點

1.3.1.4 3D-SSD

Yang et al., 3dssd: Point-based 3d single stage object detector, 2020
論文地址：https://arxiv.org/pdf/2002.10187.pdf

提高聚類質量

• 同時考慮點與點之間在幾何和特征空間的相似度
• 聚類的輸出可以直接用來生成物體候選

避免重復計算

• 聚類算法輸出每個cluster的中心和鄰域點
• 避免全局搜索物體候選和點之間的匹配關系

1.3.1.5 總結和對比

? PointNet++的主要問題在于運行速度太慢
? 速度的瓶頸在于聚類過程中需要將點集特征映射回原始點云
? Point RCNN和3D-SSD的改進主要在于提高運行速度

1.3.2 俯視圖

1.3.2.1 VoxelNet

Zhou and Tuzel, Voxelnet: End-to-end learning for point cloud based 3d object detection, 2018

論文地址：https://arxiv.org/pdf/1711.06396.pdf

核心點：

• 特征學習網絡（Feature Learning Network）
• 3D卷積網絡 （Convolutional Middle Layers）
• 區域候選網絡（Region Proposal Network）

VoxelNet中存在的問題
? 數據表示低效，大量空白區域

• KITTI數據庫一般生成5K-8K個Voxel，只有0.5%的Voxel是非空的
• 改進方法：SECOND（采用稀疏卷積）

? 三維卷積計算量巨大

• 改進方法：PIXOR（3D網格壓縮到2D）

1.3.2.2 SECOND

Yan et al., Second: Sparsely embedded convolutional detection, Sensors, 2018.

論文地址：https://www.mdpi.com/1424-8220/18/10/3337

稀疏卷積避免無效計算

• 中間層采用稀疏卷積
• 其余模塊與VoxelNet類似

1.3.2.3 PIXOR

Yang et al., Pixor: Real-time 3d object detection from point clouds, CVPR, 2018

論文地址：https://arxiv.org/pdf/1902.06326.pdf

PIXOR (ORiented 3D object detection from PIXel-wise neural network predictions)
? 手工設計高度維度的特征
? 3D->2D：高度維度變成特征通道
? 可以用2D卷積來提取特征

• Occupancy：L x W x H(H維度作為特征通道)
• Intensity：L x W x 1(H方向壓縮為1維)
• In totalLxWx (H+1)

1.3.2.4 AFDet

Ge et al., Real-Time Anchor-Free Single-Stage 3D Detection with IoU-Awareness, 2021
論文地址：https://arxiv.org/pdf/2006.12671.pdf

? 單階段，無Anchor
? Waymo 3D物體檢測 2021年度的獲勝算法
? 算法方面的改進

• 輕量級的點云特征提取
• 擴大神經網絡的感受野
• 額外的預測分支

1.3.2.5 總結與對比

? 俯視圖

• 輸入結構化數據，網絡結構簡單
• 對量化參數敏感：粗網格導致較大的信息損失，細網格導致較大的計算量 和內存使用量

? 點視圖

• 沒有量化損失，數據比較緊致
• 輸入非結構化數據，網絡結構復雜，并行處理困難，提取鄰域特征困難

1.3.3 前視圖

前視圖的特點
? 優點

• 表示更為緊致，而且沒有量化損失
• 每個像素上理論上都會有數據

? 問題

• 不同距離的物體尺度差別很大
• 2D特征與3D物體信息存在不一致性

1.3.3.1 LaserNet

Meyer et al., LaserNet: An Efficient Probabilistic 3D Object Detector for Autonomous Driving, 2019.
論文地址：https://arxiv.org/pdf/1903.08701.pdf

? 輸入數據為多通道的前視圖圖像
? 卷積和下采樣提取多尺度特征
? 每個像素都預測物體邊框的分布（均值和方差）
? MeanShift聚類+NMS得到最終的輸出

1.3.3.2 RangeDet

Fan et al., RangeDet: In Defense of Range View for LiDAR-based 3D Object Detection, 2021

論文地址：https://arxiv.org/pdf/2103.10039.pdf

核心點：

? Meta-Kernel Convolution
? Range Conditioned Pyramid

1.3.4 多視圖融合 （俯視圖+點視圖）

? 基本思路

• 在較低分辨率的Voxel上提取鄰域特征或者生成物體候選
• 在原始點云上提取點特征，忽略空白區域，保持空間分辨率
• Voxel特征與點特征結合

? 代表性方法

• PointPillar
• PV-CNN
• SIENet

1.3.4.1 PointPillar

Lang et al., PointPillars: Fast Encoders for Object Detection from Point Clouds, 2019.

論文地址：https://openaccess.thecvf.com/content_CVPR_2019/papers/Lang_PointPillars_Fast_Encoders_for_Object_Detection_From_Point_Clouds_CVPR_2019_paper.pdf

? 特征： PointNet提取點特征（點視圖），然后進行Voxel量化（俯視圖）
? 主干：Feature Pyramid Network
? 檢測頭：SSD

1.3.4.2 SIENet

Li et al., SIENet: Spatial Information Enhancement Network for 3D Object Detection from Point Cloud, 2021.
論文地址：https://arxiv.org/pdf/2103.15396.pdf

? 融合策略與PV-CNN相似
? 解決遠處物體點云相對稀疏的問題

• 采用了一個附加分支，將物體候選框中的點集進行擴展

1.3.4.3 PV-CNN

Liu et al., Point-voxel CNN for efficient 3d deep learning, 2019.
論文地址：https://arxiv.org/pdf/1907.03739.pdf

?Voxel分支：低分辨率的Voxel提取鄰域特征，然后映射回每個點上
?Point分支：利用MLP來提取點特征，沒有量化損失，也避免空白區域的計算
?兩個分支的特征合并用于后續的物體檢測

1.3.5 多視圖融合（俯視圖+前視圖）

? 基本思路

• 融合俯視圖和前視圖下的特征
• 盡量避免空白區域的無效計算

? 代表性方法

• MV3D
• Range Sparse Net (RSN)

1.3.5.1 MV3D

Chen, et al., Multi-view 3d object detection network for autonomous driving, 2017
論文地址：https://openaccess.thecvf.com/content_cvpr_2017/papers/Chen_Multi-View_3D_Object_CVPR_2017_paper.pdf

? BEV網格生成3D物體候選，再轉換為不同視圖下的候選
? 不同候選中進行ROI-Pooling
? 在候選層級上融合不同視圖的特征

1.3.5.2 RSN

Sun, et al., RSN: Range Sparse Net for Efficient, Accurate LiDAR 3D Object Detection, 2021.
論文地址：https://arxiv.org/pdf/2106.13365.pdf

兩階段檢測器，目的在于提高檢測距離的可擴展性

• 階段1：前視圖上進行前景分割，過濾背景點
• 階段2：前景點量化為Voxel，稀疏卷積提取特征，稀疏的Grid上檢測物體
• 稠密的前視圖+稀疏的俯視圖

聲明

本人所有文章僅作為自己的學習記錄，若有侵權，聯系立刪。本系列文章主要參考了清華大學、北京理工大學、哈爾濱工業大學、深藍學院、百度Apollo等相關課程。

總結

以上是生活随笔為你收集整理的自动驾驶感知——激光雷达物体检测算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。