大數(shù)據(jù)目標(biāo)檢測推理管道部署

本文提供了一個用于對象檢測的深度學(xué)習(xí)推理的概述。

自主車輛軟件開發(fā)需要大規(guī)模的數(shù)據(jù)、計算和算法創(chuàng)新，這些都是gpu實(shí)現(xiàn)的。一組神經(jīng)網(wǎng)絡(luò)構(gòu)成了感知和決策系統(tǒng)的基礎(chǔ)。神經(jīng)網(wǎng)絡(luò)的性能與數(shù)據(jù)量成比例地增加，并且需要基礎(chǔ)設(shè)施來支持大規(guī)模的訓(xùn)練和推理。

為了使自動駕駛汽車（AV）達(dá)到可接受的安全水平，他們必須接受大量真實(shí)駕駛數(shù)據(jù)的訓(xùn)練，這些數(shù)據(jù)包括汽車每天可能遇到的各種情況。這些訓(xùn)練場景由安裝有多個傳感器的車隊(duì)收集，每天行駛小時，產(chǎn)生數(shù)PB的數(shù)據(jù)。這些數(shù)據(jù)必須加以標(biāo)注和處理，以便進(jìn)行全面的AV開發(fā)、測試和驗(yàn)證。

AV軟件的很大一部分是perception
stack，它使車輛能夠檢測、跟蹤和分類物體并估計距離。perception算法開發(fā)人員可以創(chuàng)建高性能和健壯的算法，這些算法能夠在任何場景下準(zhǔn)確檢測車輛、車道、靜態(tài)和移動對象、行人、交叉口的紅綠燈和交叉口。場景包括各種環(huán)境條件，包括隧道內(nèi)，漆黑的高速公路上，或在刺眼的陽光下。為了使這些算法有效工作，它們需要穩(wěn)定的高質(zhì)量、帶標(biāo)注或標(biāo)記的數(shù)據(jù)流入訓(xùn)練。

檢測的目標(biāo)不僅是確定目標(biāo)在單個幀中的位置，而且是確定目標(biāo)在幀內(nèi)的位置。對象需要在正確的類中進(jìn)行標(biāo)識、分類和標(biāo)記。可以通過一個邊界框來實(shí)現(xiàn)這些目標(biāo)，該框不僅可以標(biāo)識對象，還可以確定對象的位置以及置信度。

傳統(tǒng)上，標(biāo)注或標(biāo)記大多被認(rèn)為是一項(xiàng)手動任務(wù)。然而，人工智能可以加速數(shù)據(jù)標(biāo)記過程。人工智能模型可以生成預(yù)標(biāo)注，然后由人工標(biāo)注器對其進(jìn)行審查和擴(kuò)充，以提高精度并創(chuàng)建高質(zhì)量的訓(xùn)練數(shù)據(jù)集。

Object detection inference pipeline components

gpu正在為自主車輛軟件開發(fā)提供動力，這是由數(shù)據(jù)量、算力和算法創(chuàng)新驅(qū)動的。一組神經(jīng)網(wǎng)絡(luò)構(gòu)成了感知和決策系統(tǒng)的基礎(chǔ)。神經(jīng)網(wǎng)絡(luò)性能的提高與數(shù)據(jù)量成正比，并且需要整體架構(gòu)來支持大規(guī)模的訓(xùn)練和推理。

· Dataset

· Data schema

· System configuration

數(shù)據(jù)集

數(shù)據(jù)架構(gòu)

系統(tǒng)配置

Dataset

圖1顯示了一個包含23個自動駕駛會話的數(shù)據(jù)集在不同場景中進(jìn)行推理的詳細(xì)信息。

Figure 1. Dataset distribution.

除了環(huán)境元素和用于檢測的主要目標(biāo)的變化外，下表顯示了在ego本車輛和場景中使用的攝影機(jī)的屬性集。

Table 2. Scene attributes.

Data schema

數(shù)據(jù)集有時間戳，包含來自攝像頭傳感器的原始數(shù)據(jù)、校準(zhǔn)值、姿態(tài)軌跡和groundtruth真實(shí)姿態(tài)。groundtruth真實(shí)數(shù)據(jù)能夠驗(yàn)證目標(biāo)檢測推理輸出，并有助于解釋和分析收集到的指標(biāo)。

數(shù)據(jù)模式提供有關(guān)基本groundtruth數(shù)據(jù)的格式和結(jié)構(gòu)的信息。數(shù)據(jù)客觀地說明有關(guān)目標(biāo)定位和分類的信息。它包含目標(biāo)的精確坐標(biāo)，以及給定數(shù)據(jù)集中每個圖像的類別。

本文對檢測特定目標(biāo)感興趣。

Table 3. Object ontology.

圖2顯示了groundtruth文件的結(jié)構(gòu)。

Figure 2. Ground truth structure.

Figure 3. Ground truth JSON for different
object types.

System configuration

表4中的配置在單個CPU和一個或多個GPU上運(yùn)行深度學(xué)習(xí)推理。

Table 4. System configuration.

Pre-annotation using YOLOv3

深度學(xué)習(xí)是一種最先進(jìn)的方法，主要由數(shù)據(jù)可用性和算力驅(qū)動來執(zhí)行目標(biāo)檢測。許多其他細(xì)節(jié)，如神經(jīng)網(wǎng)絡(luò)架構(gòu)，也很重要，在過去的幾年里有很多創(chuàng)新。

有相當(dāng)多的模型推動了目標(biāo)檢測的發(fā)展，例如更快的基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)（更快的RCNN）、只看一次模型（YOLO）和單次多盒檢測器（SSD）。哪種模式是最好的還沒有明確的答案。對于標(biāo)注前的對象檢測需要，您可以選擇平衡精度和速度。

對于這篇文章，我們選擇了YOLOv3算法，它是最有效的目標(biāo)檢測算法之一。它還包含了許多在整個計算機(jī)視覺文獻(xiàn)中與目標(biāo)檢測相關(guān)的最佳思想。Darknet-53作為YOLOv3的主干，YOLOv3以圖像為輸入，提取特征映射。YOLOv3是一種多類對象檢測模型，是一種單級檢測器，可減少延遲。

圖4描述了YOLOv3算法的體系結(jié)構(gòu)。檢測層包含許多回歸和分類優(yōu)化器，boundingbox的數(shù)量決定了用于直接檢測對象的層數(shù)。它是一個單一的神經(jīng)網(wǎng)絡(luò)，可以在一次評估中從完整圖像中預(yù)測邊界框和類概率。由于整個檢測管道是一個單一的網(wǎng)絡(luò)，因此可以根據(jù)檢測性能進(jìn)行端到端的優(yōu)化。

圖4顯示了yolov3在三個尺度上進(jìn)行預(yù)測。13×13層負(fù)責(zé)檢測大對象，26×26層檢測中等對象，52×52層檢測較小對象。

Figure 4. YOLOv3 network architecture.

Object detection inference pipeline overview

預(yù)標(biāo)注模型位于對象檢測推理管道的核心。在MS-COCO測試設(shè)備上，使用一個mAP（平均精度）為55.3的預(yù)訓(xùn)練YOLOv3-416模型，在MS-COCO測試設(shè)備上以0.5iou進(jìn)行測量。從PyTorch-yolov3 github repo下載配置文件和預(yù)訓(xùn)練的權(quán)重文件。使用Pythorch神經(jīng)網(wǎng)絡(luò)框架進(jìn)行推理。使用Docker容器設(shè)置環(huán)境，并將其打包以便在不同的環(huán)境中運(yùn)行。
導(dǎo)入后，數(shù)據(jù)集進(jìn)入預(yù)處理階段進(jìn)行必要的轉(zhuǎn)換。數(shù)據(jù)集中1280×720幅圖像的縱橫比保持不變。圖像大小調(diào)整為416×234并填充到416×416，然后插入416×416網(wǎng)絡(luò)。所有圖像的高度和寬度都固定，便于批量處理。批量圖像可以由GPU并行處理，從而提高速度。
預(yù)標(biāo)注模型自動覆蓋直接的標(biāo)注，通過降低標(biāo)注強(qiáng)度簡化人工標(biāo)注者的工作。預(yù)標(biāo)注有助于引導(dǎo)人工標(biāo)注過程。隨后的步驟是迭代的，包括一輪或多輪質(zhì)量檢查。隨著時間的推移，基于深度學(xué)習(xí)的預(yù)標(biāo)注器通過不斷地從人工標(biāo)注者審查過的標(biāo)注集合中學(xué)習(xí)而逐漸變得更好。
一個有效的對象檢測推理管道在驅(qū)動一致性和高質(zhì)量的標(biāo)記輸出方面有很大的幫助。

Figure 5. Annotation pipeline template.

Summary

自動駕駛汽車承諾為所有人提供更安全、更高效的交通工具。對物體（包括車輛、行人、交通標(biāo)志和紅綠燈）的精確檢測可以幫助自動駕駛汽車像人類一樣安全地駕駛。大量數(shù)據(jù)和各種駕駛交互數(shù)據(jù)的標(biāo)注對于訓(xùn)練和構(gòu)建最先進(jìn)的檢測系統(tǒng)是必要的。

總結(jié)

以上是生活随笔為你收集整理的大数据目标检测推理管道部署的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。