導讀

顯式的使用loss來對齊分類和定位任務。

TOOD: Task-aligned One-stage Object Detection

論文鏈接：后臺發送“tood”獲取論文和代碼鏈接。

1、介紹

現有的物體檢測方法的2個局限性：

（1）分類和定位的獨立性。目前，分類和定位一般用的是2個獨立的分支，這樣使得2個任務之間缺乏交互，在預測的時候就會出現不一致性。得分高的預測位置不準，位置準的預測得分不高。

（2）任務無關的樣本分配。大多數的anchor free的物體檢測器使用基于幾何的方式來分配樣本點，anchor-based物體檢測器一般使用IoU的方式來分配樣本點，但是對于分類最優的anchor和對于定位最優的anchor往往并不是同一個。這些常用的樣本分配策略都是和任務無關的，不能對這兩個任務同時做出準確的預測。

針對上面的2個問題，我們提出了任務對齊的一階段物體檢測器（Task-aligned One-stage Object Detection：TOOD）。

Task-aligned head

我們設計了一個Task-aligned head (T-head) ?來增強2個任務之間的交互。概念上很簡單：計算2個任務的交互特征。通過TAP（Task-Aligned Predictor ）來做預測。

Task alignment learning

我們提出了Task Alignment Learning (TAL) ?來顯式的把兩個任務的最優anchor拉近。這是通過設計一個樣本分配策略和任務對齊loss來實現的。樣本分配器計算每個anchor的任務對齊度，同時任務對齊loss可以逐步將分類和定位的最佳anchor統一起來。

2、方法

總的pipeline還是‘backbone-FPN-head’ ?的形式，這里和ATSS一樣，每個位置只使用了一個anchor。這里的anchor其實和anchor free中的anchor point是一個概念。總體結構如下圖，T-head和TAL協同工作，提升性能。具體來說，T-head首先對FPN特征進行預測，然后TAL對這兩個任務給出一個一致性的度量，最后T-head會自動的調整分類輸出和定位輸出。

2.1 Task-aligned Head

我們設計的這個任務對齊頭如下圖（b），目標有兩個，提高2個任務的交互性，增加檢測器學習對齊的能力。

如圖b所示，FPN的特征先經過N個堆疊的卷積，并保存每次卷積的結果，這樣就得到N個輸出，稱為，其實就是N個特征group，這N個輸出具有不同尺度的感受野，其實就是多尺度的特征。然后經過兩個TAP，進行對齊的分類和定位預測。

TAP的結構如圖c所示，首先經過一個Layer attention模塊，其實就是計算每個特征group的權重，然后相乘。然后拼接起來做卷積，得到，然后得到分類得分或者包圍框。

預測對齊，在預測的時候，我們需要顯式的做一次對齊，對于分類，我們用空間概率圖來調整分類預測：

對于包圍框，我們用空間偏差圖來調整預測：

這兩個用來對齊的圖是自動學習出來的：

2.2 Task Alignment Learning

2.2.1 任務對齊樣本分配

anchor對齊度量

我們用分類得分和預測框和gt的IoU的高階組合來表示這個度量：

這里α和β可以用來控制得分和IoU對這個指標的影響程度。

訓練樣本分配

對于每個gt，我們選擇m個具有最大t值的anchor作為正樣本點，其余的為負樣本。另外，訓練的時候還會計算一個新loss，用來對齊分類和定位。

2.2.2 Task-aligned Loss

分類目標函數

為了顯式的增加對齊的anchor的得分，減少不對齊的anchor的得分，我們用t來代替正樣本anchor的標簽。我們發現，當α和β變換導致正樣本的標簽變小之后，模型無法收斂，因此，我們使用了歸一化的t，這個歸一化有兩個性質：1）確保可以有效學習困難樣本，2）保持原來的排序。

同時，我們借鑒了focal loss的思想，最后的損失函數如下。

定位損失函數

和分類類似，我們使用歸一化的t來對GIoU loss進行了加權：

總的loss就是把這兩個損失加起來。

3、實驗

3.1 消融實驗

使用T-head的效果：

樣本分配策略的效果：

TOOD在anchor free和anchor based上的比較：

超參數的效果：

和其他的SOTA的比較：

任務對齊的質量分析：

—END—

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載機器學習的數學基礎專輯黃海廣老師《機器學習課程》視頻課

本站qq群851320808，加入微信群請掃碼：

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的【论文解读】TOOD：任务对齐的一阶段物体检测器的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。