?PaperWeekly 原創 ·?作者｜羅志鵬

單位｜深蘭北京AI研發中心

研究方向｜物體檢測

2020 年 6 月 19 日，堪稱計算機視覺領域「奧斯卡」的國際頂會 CVPR 2020 首次以線上形式完美落幕。各個 workshop 也都公布了各自舉辦挑戰賽的結果，其中第三屆 UG²+ 挑戰賽公布了最終榜單，來自深蘭科技北京 AI 研發中心的 DeepBlueAI 團隊斬獲了「霧天條件下物體檢測」賽道的冠軍。我們可以通過這篇文章來了解一下? DeepBlueAI 團隊的解決方案。

?

UG2+介紹

在許多新興的 AI 應用領域，如無人機、自動/輔助駕駛、搜索和救援機器人、環境監測、安全監視、運輸和檢查，都依賴于計算機視覺的室外環境感知與理解。這類系統涉及任務比較廣泛，對于目標任務，包含檢測、識別、分割、跟蹤和解析。

雖然這些任務在固定的環境和條件下取得了一定的成果，但是如果在沒有條件限制的環境中（如移動平臺、惡劣天氣、光照條件差等），視覺感知和理解算法的性能將受到很大的影響，因此主辦方根據不同的環境條件，舉辦了相應的挑戰賽。

?

UG²+Prize Challenge 是 CVPR 會議下的一個 Workshop，繼第一屆（CVPR’18）和第二屆（CVPR’19）的成功舉辦，主辦方在 CVPR 2020 開展了第三屆 UG²+Prize Challenge，該挑戰賽包含以下兩個賽道：

• Track?I Object Detection In Poor Visibility Environments

• Track II Flatcam For Faces: Enhancement, Reconstruction, And Verification

其中賽道 1 又分為三個子任務：

• (Semi-) Supervised Object Detection in Haze Conditions

• (Semi-) Supervised Face Detection in Low Light Conditions

• Sea Life Detection in the Underwater Condition

DeepBlueAI 團隊在賽道 1 的第一個子任務取得了冠軍的成績。

賽題介紹

Sub-Track 1 :（Semi-）Supervised Object Detection in Haze Conditions 主辦方提供了一組交通監控中采集的霧天圖像，總計 4332 張圖片，并將圖中的汽車、巴士、自行車、摩托車、行人這幾個類別進行了標注，總計 41113 個標注框。

?

評測指標：類似于?MS COCO?數據集的評估方案，評測將使用 AP^IOU=0.50?進行評估。

賽題特點 & 主要工作

?

在這次挑戰賽中，主要的難點包含以下幾個方面：

1. 可視條件差、圖像模糊

可視條件差是這個賽道核心問題，霧天收集的數據特點就是能見度低，圖像模糊，遠處的物體不容易被檢測與識別，容易造成大量的目標漏檢、誤檢，從而導致 mAP 效果下降。

2. 圖片數量少，數據分布不平衡

總共只有 4000 多張帶標注的圖片，增加了訓練難度，再加上數據分布的不均衡，很難劃分一個具有代表性的驗證集，很可能導致模型不具有泛化能力，在新的測試集上表現會不如預期。

?

檢測器

我們先通過常規檢測所累積的經驗構造出一個 baseline：

Baseline = Backbone + DCN [1] + FPN [2] + Cascade RCNN [3]

?

這套 pipeline，也是去年冠軍團隊所使用的方法，在這里我們沿用這套算法，以此為基礎進行改進。

通過觀察實驗結果發現，模型誤檢情況遠多于漏檢，經常出現一個目標有多個檢測結果，并且這些檢測結果之間無法使用 nms 去除。歸納為兩方面原因。

1. 模型自身能力不足，回歸分類能力差，導致大量誤檢；

2. 負樣本不足，由于樣本個數限制，模型會在一些模棱兩可的地方檢測出置信度較高的結果，無法通過閾值去處理這些誤檢結果。

根據目前結果做了一下幾個方面的改進：

1. Double Heads [6]

?

當需要提升模型能力時，有 2 個比較簡單高效的方法，一是使用更強的 backbone，二是提高 RCNN 中分類檢測 head 的能力，通過實驗比對，我們最終使用了 double head 的結構（如下圖所示）。

▲ Double Heads

?

Double head 采用分而治之的思想，將原始 head 解耦為 2 個獨立的分支，針對不同的需求設計 head 結構，通過對比實驗可發現：使用 FC-head 做分類，Conv-head 做回歸，可以得到最好的效果。

因為分類更多地需要語義信息，所以使用全連接層。而坐標框回歸需要更多的空間信息，因此使用卷積層。當然這種方法會增加計算量。在平衡速度和準確率的情況下，最終我們選擇了 3 個殘差 2 個 Non-local 共 5 個模塊。

2. FFA-Net

期初根據賽題的描述和對數據的分析，我們團隊首先對圖片進行去霧處理，然后再進行檢測。因為現在有許多比較成熟的去霧算法，這些算法也不會更改物體的位置，所以標注完全不用更改。抱著這個想法我們開始進行對比實驗，來驗證去霧算法的有效性。

首先使用了何愷明比較經典的暗通道先驗去霧算法，但根據前兩輪的得分，以及可視化結果我們放棄了這個方法。

之后我們又在 Faster-rcnn 相對較小的模型上測試了基于深度學習的去霧算法，GCANet、FFANet，用相應去霧算法的輸出當做 Faster-rcnn 的輸入。

▲ FFA-Net 處理訓練集結果

?

對比結果如下表所示：

根據結果來看 GCANet 所處理的結果得分較差，但 FFANet 和原數據集得分比較類似，雖然沒得到相應的提升，但卻是一個很好的數據增強方法，因為類似這種圖像模糊的數據集上，像素級別的數據增強在此數據集上很容易導致圖片原始結構的破壞，從而導致 AP 效果下降。

現在我們得到一個切實可行的數據增強方式，所以將 FFA-Net 的處理結果與原始圖像合并作為新的訓練集進行訓練。

3. Augmentation

因為圖片總體數量較少，并且有較嚴重的數據不平衡情況，所以合理的數據增強方式會比增加模型復雜度之類的方法更為直接有效。

實驗細節：

我們將 Cascade rcnn + DCN + FPN 作為我們的 baseline

將原有 head 改為 Double head

將 FFA-Net 處理過的數據集與原數據集合并訓練

Augmentation

Testing tricks

?

實驗結果（本地驗證集）

?

由于最終結果以 docker 形式提交，為了保證模型效果，并沒有采用多模型或者多尺度融合。因為融合使用 soft_nms，很多框并不會去掉只是變為低分結果。尤其在這個數據集上，模型誤檢較多，多模型或多尺度融合后會引入更多的誤檢框，很可能導致得分會變得很低。

參考文獻

[1]? Dai J, Qi H, Xiong Y, et al. Deformable Convolutional Networks[J]. 2017.

[2]? Lin T Y , Dollár, Piotr, Girshick R , et al. Feature Pyramid Networks for Object Detection[J]. 2016.

[3]? Cai Z , Vasconcelos N . Cascade R-CNN: Delving into High Quality Object Detection[J]. 2017.

[4]? Song G , Liu Y , Wang X . Revisiting the Sibling Head in Object Detector[J]. 2020.

[5]? Qin, X., Wang, Z., Bai, Y., Xie, X., & Jia, H. (2020). FFA-Net: Feature Fusion Attention Network for Single Image Dehazing.?ArXiv, abs/1911.07559.

[6]? Wu, Y., Chen, Y., Yuan, L., Liu, Z., Wang, L., Li, H., & Fu, Y. (2019). Rethinking Classification and Localization in R-CNN. ArXiv, abs/1904.06493.

?

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的​CVPR 2020雾天条件下物体检测挑战赛冠军DeepBlueAI团队技术分享的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。