簡介

目前密集目標檢測器很受歡迎，其速度很快且精度不低，不過這種這種基于點的特征雖然使用方便，但會缺少關鍵的邊界信息。曠視于 ECCV2020 發表的這篇 BorderDet，其中的核心就是設計了 Border Align 操作來從邊界極限點提取邊界特征用于加強點的特征。以此為基礎設計了 BorderDet 框架，該框架依據 FCOS 的 baseline 插入 Border Align 構成，其在多個數據集上漲點明顯。Border Align 是適用于幾乎所有基于點的密集目標檢測算法的即插即用模塊。

• 論文標題

  BorderDet: Border Feature for Dense Object Detection

• 論文地址

  https://arxiv.org/abs/2007.11056

• 論文源碼

  https://github.com/Megvii-BaseDetection/BorderDet

介紹

目前大多數 point-based 的目標檢測算法（如 SSD、RetinaNet、FCOS 等方法）都使用特征圖上的 single-point 進行目標的回歸和分類，但是，single-point 特征沒有足夠的信息表示一個目標實例，主要是因為缺乏邊界信息。此前有很多方法來補充 single-point 的表示能力，但是這些方法往往帶來較大計算量的同時并沒有引入太多有用的信息，反而帶來一些無用的背景信息。這篇文章設計了新的特征提取操作 BorderAlign 來直接利用邊界特征優化 single-point 特征，以 BorderAlign 為拓展配合作為 baseline 的 FCOS，提出新的檢測框架 BorderDet，實現 SOTA。

本文的貢獻文中列了不少，但在我看來，只有一個核心：分析密集目標檢測器的特征表示，發現邊界信息對 single-point 特征的重要性，并設計了一個高效的邊界特征提取器 BorderAlign。 其他的貢獻都是順理成章的附屬產物。

BorderAlign

BorderAlign 的提出是基于大量的實驗對比的，我這邊就按照作者的思路來進行闡述。首先，采用如上圖不同的特征增強方式在 FCOS 的基礎上評估效果，結果如下表，根據效果最好的二四兩行，發現，只使用邊界上中心點做增強效果媲美 region-based 的方法。因此，得出結論，point-based 方法做目標檢測確實缺乏完整的目標特征，但從完整的邊界框中密集提取特征是沒必要且冗余的，高效的邊界特征提取策略可以獲得更好的特征增強效果。

針對上述結論，一種高效顯式自適應提取邊界特征的方法，BorderAlign 被提出。如下圖所示，一個$5C$的 border-sensitive 特征圖作為輸入，其中$4C$維度對應邊界框的四條邊，另外$C$維度對應原始 anchor 點的特征。對于一個 anchor 點預測的邊界框，對其四個邊界在特征圖上的特征做池化操作，由于框的位置是小數，所以采用雙線性插值取邊界特征。

這里具體的實現如下：假設輸入的 5 個通道表示(single point, left border, top border, right border, bottom border)，那么對 anchor 點$(i,j)$對應的 bbox 各邊均勻采樣$N$個點，$N$默認是 5，如下圖所示。采樣點的值采用上面所說的雙線性插值，然后通過逐通道最大池化得到輸出，每個邊只會輸出值最大的采樣點，那么每個 anchor 點最后采用 5 個點的特征作為輸出，所以輸出也是$5C$維度的。

輸出特征圖相對輸入特征圖，各通道計算式如下，$(x_0,y_0,x_{!},y_1)$為 anchor 點預測的 bbox。

顯然，BorderAlign 是一種自適應的通過邊界極限點得到邊界特征的方法。文章中對其進行了一些可視化工作，下圖所示的邊上的小圓圈是邊界極限點，大圓圈是不同 channel 上預測的邊界極限點。

BAM(Border Alignment Module)

該模塊用于修正粗糙的 detection 結果，因而必須保證輸入輸出是同維張量，而其中的 BorderAlign 需求的是 5 個通道，所以必然要經歷降維、特征增強、升維的過程，為了驗證 border feature 的效果，BAM 采用 1x1 卷積實現維度變換。

BorderDet

上圖的框架采用 FCOS 作為 baseline，上面是分類分支，下面是回歸分支，coarse cls score 和 coarse box reg 表示 FCOS 的輸出。在四個卷積層后引出一個分支做 BorderAlign 操作，也就是進入 BAM 模塊，該模塊需要 bbox 位置信息，所以看到 coarse box reg 送入兩個 BAM 中。最終這兩個 BAM 預測得到 border cls score 和 border box reg，和檢測器原始輸出組合變為最終輸出。

最后補充一點，BorderDet 在推理時對兩種分類結果進行直接的相乘輸出，而對于 bbox 定位則使用 border 定位預測對初步定位的 bbox 進行原論文中公式(2)的反向轉換，對所有的結果進行 NMS 輸出（IOU 閾值設置為 0.6）。

實驗

論文進行了非常豐富的消融實驗以對比 BorderAlign 的效果。

各分支效果

相比其他特征增強效果

和其他經典的特征增強手段相比，BorderAlign 在速度（使用 CUDA 實現了 BorderAlign）和精度上都有突破。

集成到檢測器漲點效果

有比較明顯的改進。

和主流檢測器對比

可以看到，即使不使用多尺度策略，BorderDet 和當前 SOTA 相比效果也是不遑多讓的。

總結

邊界信息對于 OD 問題十分重要，BorderDet 的核心思想 BorderAlign 高效地將邊界特征融入到目標預測中，而且能夠 PnP 融入到各種 point-based 目標檢測算法中以帶來較大的性能提升。

參考文獻

[1]Qiu H, Ma Y, Li Z, et al. BorderDet: Border Feature for Dense Object Detection[J]. arXiv preprint arXiv:2007.11056, 2020.

[2]https://zhuanlan.zhihu.com/p/163044323

總結

以上是生活随笔為你收集整理的BorderDet论文解读的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。