摘要：

• AVOD: an Aggregate View Obeject Detection network? ?多視圖目標檢測網絡
• 使用了LIDAR和RGB圖像生成特征。
• 包括兩部分：RPN（區域提案網絡）和a second stage detector network（第二步檢測器？）
• RPN可以在高分辨率特征圖上執行多模型特征融合，從而對道路上的多類目標生成可Y靠的3D候選目標（performing multimodal feature fusion on high resolution feature maps to generate reliable 3D object proposals for multiple object classes in road scenes ）
• second stage detector network:執行精確的定向3D邊框回歸和分類，以預測三維空間中其尺寸、方向和分類。

??

• AVOD可用于對小尺寸目標的監測和定位：AVOD中的RPN結構致力于將圖像和鳥瞰圖特征圖中全分辨率的特征要素（feature crop？？）作為輸入，允許較小尺寸目標產生高召回率的提案。此外，特征提取器可以提高全分辨率的特征圖，這對于小尺寸目標的定位精度非常有幫助。

AVOD結構：

• 提案方法 ：

????????????????????????利用特征提取器從鳥瞰圖和圖像中生成特征圖；?

????????????????????? ? RPN利用這兩個特征圖生成未定向的候選區域??? ?

????????????????????? ? 檢測網絡利用候選區域進行維度細化（dimension refinement？）、方向估計和分類。

• 從圖像和點云中生成特征圖

按照MV3D中的步驟，從一個分辨率為0.1m的點云的體素網格表示中生成六通道鳥瞰圖。

將點云裁剪在[-40,40]×[0,70]范圍內，從而包含相機視野內的點。？？？？？？？

鳥瞰圖的前五個通道是每個柵格單元的最大高度，是由Z軸上[0,2.5]米范圍內五個相同的切片生成。

第六個通道信息包含的是每個單元中的密度信息。由

• 特征提取器

? ? ? ?

AVOD使用了兩個相同 特征提取器，圖像輸入和LIDAR輸入各一個。

特征提取器由兩部分組成：encoder（編碼器）和decoder（解碼器）

編碼器：對VGG-16做了一些修改，主要是將其通道數減半，并在conv4層裁剪網絡。因此，編碼器將一個M*N*D的圖像或者鳥瞰圖作為輸入，并輸出（M/8）×(M/8)×D* 的特征圖F。（行人一般是0.8×0.6m，在鳥瞰圖中占8×6個像素（分辨率為0.1m）。經過編碼器進行8倍下采樣后，在輸出的特征圖中只占不到一個像素。）

解碼器：由FPN啟發，設計了自底向上的解碼器（bottom-up）將encoder輸出的特征圖上采樣恢復至原始輸入尺寸；通過conv-transpose（解卷積），將兩個編碼器輸出的相關聯的特征圖級聯，然后通過一個3×3卷積將兩者融合。

通過encoder和decoder最后得到的特征圖具由較高的分辨率和代表性，并且是由RPN和the second stage detection network 共享的。

總結

以上是生活随笔為你收集整理的AVOD阅读笔记（一）：摘要+特征提取----Aggregate View Obeject Detection network的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。