Waymo研发经理：《自动驾驶感知前沿技术介绍》
Waymo研發(fā)經(jīng)理|自動(dòng)駕駛感知前沿技術(shù)介紹
這是Waymo研發(fā)經(jīng)理（VoxelNet作者）的一個(gè)最新分享報(bào)告：《自動(dòng)駕駛感知前沿技術(shù)介紹》。在這份報(bào)告里，介紹了Waymo在自動(dòng)駕駛感知中五個(gè)研究方向的最新成果。
1. Overview of the autonomous driving system
報(bào)告首先是無人駕駛系統(tǒng)的介紹，作者以Waymo第四代無人車系統(tǒng)為例。輸入為各種感知系統(tǒng)（視覺、激光雷達(dá)、毫米波雷達(dá)系統(tǒng)及提前收集好的地圖等），通過模塊化或端到端處理（如深度神經(jīng)網(wǎng)絡(luò)），輸出為無人車控制命令（方向盤轉(zhuǎn)角和汽車加速度）。
下圖為主流的無人車模塊化設(shè)計(jì)。輸入模塊為采集好的地圖和各種傳感器信號(hào)；定位模塊根據(jù)地圖和傳感器信號(hào)給出當(dāng)前無人車所在位置；感知模塊對(duì)定位模塊輸出、傳感器信號(hào)和地圖信息做感知處理，然后將感知結(jié)果發(fā)送給行為預(yù)測(cè)（BP）模塊，最后規(guī)劃模塊根據(jù)感知、行為預(yù)測(cè)以及定位結(jié)果給出汽車的控制命令，控制模塊執(zhí)行控制命令。
2. Introduction to perception
下圖是感知模塊介紹，感知模塊輸入為傳感器數(shù)據(jù)（攝像頭、激光雷達(dá)、毫米波雷達(dá)）和高精地圖，輸出為環(huán)境表示。
下圖是自動(dòng)駕駛環(huán)境感知中六個(gè)主要研究方向：目標(biāo)檢測(cè)和追蹤（根據(jù)激光雷達(dá)點(diǎn)云數(shù)據(jù)估計(jì)目標(biāo)的位置、大小和方向）；語義分割（給圖像中每個(gè)像素分配一個(gè)類別）；Flow（估計(jì)圖像中的像素和點(diǎn)云中的每個(gè)點(diǎn)下一時(shí)刻的運(yùn)動(dòng)）；深度估計(jì)（判斷圖像中每個(gè)像素的深度）；行人位置估計(jì)（估計(jì)行人運(yùn)動(dòng)，主要是行人關(guān)節(jié)運(yùn)動(dòng)估計(jì)）；高精度地圖（根據(jù)各種傳感器輸入建立高精度地圖）。
3. New frontiers in scalable perception
下圖是感知中Scalability的五個(gè)方向：模型泛化能力（模型在不同天氣、城市和長尾問題的泛化能力）；Quality（模型的檢測(cè)性能）；模型的計(jì)算效率（內(nèi)存和計(jì)算速度）；自動(dòng)標(biāo)注（替代人工標(biāo)注）；仿真數(shù)據(jù)生成或數(shù)據(jù)壓縮。其中Generalization，Quality，Computational Efficency屬于線上模型，而Data Flexibility，Labeling Automation屬于線下模型。
下面作者將根據(jù)以上五個(gè)方向介紹Waymo的最新研究成果。
3.1 Generalization
這是一篇通過語義點(diǎn)云生成的進(jìn)行無監(jiān)督域自適應(yīng)3D物體檢測(cè)論文。論文中作者設(shè)計(jì)了一個(gè)SPG模塊，可以根據(jù)物體的原始點(diǎn)云（即使在遮擋或雨天環(huán)境下）生成語義點(diǎn)云，復(fù)原物體形狀；然后將原始點(diǎn)云與生成的語義點(diǎn)云融合得到增強(qiáng)點(diǎn)云，最后通過一個(gè)流行的3D物體檢測(cè)器進(jìn)行物體檢測(cè)。無論是在target domain 還是 source domain，作者設(shè)計(jì)的SPG模塊都極大的提高了3D物體檢測(cè)器的檢測(cè)性能。
下面是論文想要解決的問題，在雨天或遮擋情況下，點(diǎn)云質(zhì)量下降很厲害，從而影響最終的檢測(cè)結(jié)果。
本文的核心思想是：在3D物體檢測(cè)之前，還原物體形狀。
SPG模塊主要做兩件事：3D分割和前景形狀還原。首先將點(diǎn)云數(shù)據(jù)劃分為一個(gè)個(gè)voxel，判斷每個(gè)voxel是否屬于前景voxel，然后則在每個(gè)前景voxel中生成語義點(diǎn)云，還原物體形狀。
SPG的pipeline如下圖所示，實(shí)驗(yàn)發(fā)現(xiàn)，只要多增加5%的原始點(diǎn)云，就能多獲得500%的前景點(diǎn)云。
下面是在Waymo Domain Adaptation Dataset和KITTI數(shù)據(jù)集上的檢測(cè)結(jié)果。
下面是是在遮擋，遠(yuǎn)距離物體或大物體上的可視化檢測(cè)結(jié)果。
3.2 Quality
這是一篇通過使用注意力網(wǎng)絡(luò)融合多幀點(diǎn)云信息進(jìn)行物體檢測(cè)的方法，與SPG在輸入端提高點(diǎn)云質(zhì)量不同，3D-MAN是在輸出端將當(dāng)前幀與歷史幀proposals feature相結(jié)合來提高檢測(cè)結(jié)果。
本文的核心思想是使用同一個(gè)主干網(wǎng)（如Pointpillars）對(duì)當(dāng)前幀和歷史幀提取Proposal特征，然后使用注意力模塊來優(yōu)化Proposal，最終得到一個(gè)更好的檢測(cè)結(jié)果。
論文處理框架如下圖所示：
- 在第一階段，使用一個(gè)高效的檢測(cè)器對(duì)當(dāng)前幀輸入生成proposal和feature，同時(shí)將當(dāng)前幀與歷史幀的proposal和feature存儲(chǔ)起來。
- 在第二階段，注意力模塊首先對(duì)當(dāng)前幀和歷史幀的proposal進(jìn)行alignment操作，然后對(duì)不同幀的feature進(jìn)行aggregation，最終得到檢測(cè)結(jié)果。
下面是在Waymo Open Dataset數(shù)據(jù)集上的檢測(cè)結(jié)果。
3.3 Computational Efficency
這篇論文通過在waymo數(shù)據(jù)range images上首先使用2D卷積選取物體的前景點(diǎn)，然后對(duì)被選取的前景點(diǎn)云進(jìn)行稀疏卷積操作。通過結(jié)合range images上提取的特征，不僅提高了3D物體檢測(cè)性能，而且還達(dá)到了60幀每秒的檢測(cè)效率。
由于點(diǎn)云的稀疏性，之前的檢測(cè)方法（PointPillar和PV-RCNN）只考慮Occupancy Sparsity，判斷劃分的Voxel是否為空；而本文則是最大化算法的檢測(cè)效率，內(nèi)存使用，考慮的是Semantic Sparsity，即判斷劃分的Voxel是否為前景Voxel。
算法結(jié)構(gòu)如下，輸入為range images，這是將點(diǎn)云轉(zhuǎn)換成圖像形式；通過分割模塊分割出前景點(diǎn)，同時(shí)提取前景點(diǎn)feature；然后進(jìn)行Sparse Feature Extraxction，最后是Box回歸得到proposal。
下面是在Waymo Open Dataset數(shù)據(jù)集上的檢測(cè)結(jié)果。
3.4 Labeling Automation
作者首先介紹了線上模型和線下模型開發(fā)的區(qū)別。
這是一篇用于自動(dòng)標(biāo)注的3D物體檢測(cè)方法，檢測(cè)效果達(dá)到了人類標(biāo)注的性能，作者首先解釋了自動(dòng)標(biāo)注的重要性。
論文核心思想是：在不同時(shí)刻會(huì)看到物體不同視角的形狀，將不同時(shí)刻物體的點(diǎn)匯集起來能夠更準(zhǔn)確地估計(jì)物體的形狀和尺寸。
下面是一輛mini-van的不同幀數(shù)物體點(diǎn)匯集起來的樣子，幀數(shù)越多，估計(jì)出來的形狀更完整。
下面是算法的pipeline，首先是對(duì)點(diǎn)云序列每一幀進(jìn)行檢測(cè)，接著是多物體追蹤，然后是同一追蹤物體的點(diǎn)云數(shù)據(jù)提取，這里將物體分為靜態(tài)和動(dòng)態(tài)來進(jìn)行標(biāo)注。
下面是在Waymo Open Dataset數(shù)據(jù)集上的檢測(cè)結(jié)果。需要說明的是，IoU=0.8為人工標(biāo)注時(shí)的標(biāo)準(zhǔn)。
3.5 Data Flexibility
在這篇論文中，通過收集來的傳感器數(shù)據(jù)來生成逼真的圖像數(shù)據(jù)，重建3D World；同時(shí)生成的數(shù)據(jù)也可以用于仿真測(cè)試。
下面是具體的實(shí)際應(yīng)用：不同視角和不同場(chǎng)景合成。
總結(jié)
以上是生活随笔為你收集整理的Waymo研发经理：《自动驾驶感知前沿技术介绍》的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： kodorjan.exe进程有什么用 是
- 下一篇： kpf4gui.exe是什么进程 有什么