激光雷達點云的特征表達

• 簡介
• 激光雷達成像原理
• 離散化
• • • • BEV圖
      • Camera view圖
• 點對點特征（point-wise feature）提取
• 特征融合

簡介

• 激光雷達的稀疏點云成像與稠密像素點的圖像成像不同，點云都是連續的，圖像是離散的；點云可以反應真實世界目標的形狀、姿態信息，但是缺少紋理信息；圖像是對真實世界的目標離散化后的表達，缺少目標的真實尺寸；圖像可以直接作為cnn網絡的輸入，而稀疏則需要做一些預處理。
• 因此，為了完成3D目標檢測任務，需要對稀疏點云做特征表達，這里介紹3種方式：1）離散化后，手動（hand-crafted）提取特征，或者利用深度學習模型提取特征；2）點對點特征（point-wise feature）提取；3）特征融合。

激光雷達成像原理

激光雷達是一種綜合的光探測與測量系統，通過發射接受激光束，分析激光遇到目標對象后的折返時間，計算出目標對象與車的相對距離。目前常見的有16線、32線、64線激光雷達。激光雷達線束越多，測量精度越高，安全性越高。
多束激光線同時發射，并配合激光雷達的旋轉便得到了如上圖所示的激光雷達點云。禾賽64線激光雷達，其垂直方向最多有64根線，且視場范圍為：-25°~+15°。旋轉速度決定了水平方向點云角分辨率，如：激光雷達掃描頻率為10Hz，水平角分辨率為0.2°，那么掃描的點數為360°/0.2°=1800點；若掃描頻率提高到20Hz，此時角分辨率為0.4°，掃描點數也就減半，同樣目標上的點云會更稀疏。

離散化

BEV圖

BEV圖由激光雷達點云在XY坐標平面離散化后投影得到，其中需要人為規定離散化時的分辨率，即點云空間多大的長方體范圍（Δl * Δw * Δh）對應離散化后的圖像的一個像素點（或一組特征向量），如點云20cm * 20cm * Δh的長方體空間，對應離散化后的圖像的一個像素點。根據長方體空間中點云點特征表達方式不同可以分為hand-crafted feature、voxel-feature

• hand-crafted feature
  • 使用這種方式做特征表達的典型3D目標檢測方法有MV3D、PIXOR、YOLO3D等，通過使用一些統計特征來完成對長方體中點云的特征表達，主要特征包括：最大高度值、與最大高度值對應的點的強度值、長方體中點云點數、平均強度值等。
  • hand-crafted feature主要問題是丟棄了很多點云的點，缺失了很多信息。當然可以通過設置比較小的長方體范圍來彌補，但是同時會增加計算量。MV3D通過設置比較小的Δh，得到了一系列的height maps。
• voxel-feature
  為了使用更多的點信息，以及使用end-to-end模型提取更好的特征，提出了voxel表達方式，廣泛應用于second、voxelnet、pointpillar等方法中。voxel的特征表達主要包括3個步驟：點云預處理、點特征表達、voxel特征表達得到BEV圖。基于voxel的特征表達，極大的緩解了點云在做BEV投影時信息丟失的問題，提高了整個網絡的效果。
  • 點云預處理：在一個voxel中篩選一定量的點，在點云原始信息基礎上，提取一些相對位置信息，組合成新的點云單點特征表達。
  • 點特征提取：使用全連接網絡提取單點特征，再計算voxel中篩選出來的點云特征的max-pooling，得到上下文特征，與單點特征組合得到新的點云單點的特征表達。
  • voxel特征表達：經過多步的點特征提取后，將最后一次max-pooling得到的特征向量作為一個voxel的特征表達，對應到BEV圖中相應坐標下的特征向量。

Camera view圖

在這種離散化方式中，激光雷達的垂直分辨率（線數）和水平分辨率（旋轉角分辨率）是兩個重要的可以依據的參數，分別對應了離散化后的圖像的高和寬，如對于一個64線，角分辨率0.2°，10Hz掃描頻率的激光雷達，離散化后的圖像大小為64 * 1800 * c。

這種投影方式和圖像成像效果很相似，所以稱為camera view，但也同時會引入圖像成像的缺點，如遮擋、缺失深度信息等。

點對點特征（point-wise feature）提取

• 說到point-wise feature，首先想到的是pointnet系列，如下圖為pointnet的處理流程，主要包含兩個模塊: 全連接（mlp）和特征變換（transform）。pointnet特征提取應用在自動駕駛的激光雷達3D目標檢測中時，都是簡化的版本，比如voxelnet中的VFE layer，很少有pointnet直接作為目標檢測的主網絡結構，一般僅作為特征提取的方式。在其他應用領域中，pointnet可以作為主要網絡做不同的任務，如kaiming大神的Vote3D使用pointnet++做3D目標檢測。
• 自動駕駛中激光雷達的點云比較稀疏，應用在稠密點云的特征表方法可以借鑒，很難直接使用。另外，大部分point-wise特征提取的方法，只能融合局部信息的特征，與更廣的上下文信息的聯系比較弱，而BEV或者camera view的表達方式，在使用合適的網絡結構做特征提取時，感受野可以覆蓋全圖。因此，在自動駕駛領域，point-wise特征不會直接用來做3D目標檢測任務。

特征融合

其實，不同的激光雷達點云特征提取方法有各自的優缺點，但聯合在一起使用時，能發揮更好的作用，如在waymo的文章“End-to-End Multi-View Fusion for 3D Object Detection in LiDAR Point Clouds”中，融合了不同的特征表達方式，對小目標和遠處目標的檢測效果增益很大。

總結

以上是生活随笔為你收集整理的激光雷达点云的特征表达的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。