Introduction & problem

目前主流的SSD,RetinaNet,FCOS的目標(biāo)檢測(cè)主要的pipleline就是在多尺度的特征圖上做分類和回歸，而這種single-point（直接對(duì)特征圖點(diǎn)），并不能有足夠多的信息去完整表達(dá)實(shí)例以及實(shí)例的邊界信息。 之前也有很多work比如說roialign 或者deformable Conv 也是利用了bounding box 里邊的其他的信息，但是往往許多是冗余的，不是顯式的或者不直接。之前沒有工作是顯式的直接提取邊界的特征信息。

自己的理解：之前就是預(yù)測(cè)出來的框直接是結(jié)果了，只是用了特征圖上該點(diǎn)的信息。那么輸出出來的這個(gè)框中的有效信息還能不能再利用呢？顯然是可以的，但是怎么去利用是一個(gè)關(guān)鍵，對(duì)于細(xì)節(jié)的定位來說去找到邊界的信息直觀上是很重要的，然后拿到邊界的特征信息再作用回生成該框的特征圖的對(duì)應(yīng)點(diǎn)，就相當(dāng)于對(duì)信息的又一次利用，再去那這個(gè)加強(qiáng)后的點(diǎn)去預(yù)測(cè)。這個(gè)過程就對(duì)應(yīng)于文章的singer point inhancement.

Motivation

首先通過FCOS為pipleline做了一系列的實(shí)驗(yàn)證實(shí)，通過對(duì)bounding box區(qū)域特征的提取enhancement singer point的方法確實(shí)work,如下圖。

增強(qiáng)的方法就對(duì)bounding box 進(jìn)行采樣，然后根據(jù)不同的采樣方法進(jìn)行特征提取（取最大值）通過add操作到singer point,就不僅僅有之前網(wǎng)絡(luò)提取的特征，還有對(duì)應(yīng)的bounding box的更加細(xì)節(jié)特征，發(fā)現(xiàn)（d）所示只對(duì)邊界中心點(diǎn)進(jìn)行提取，采樣點(diǎn)很少的情況下，也能夠達(dá)到和提取整個(gè)region特征點(diǎn)的效果一樣。

沿著這個(gè)思路，present 了一個(gè)Border Align Moudle，提取邊界點(diǎn)的峰值點(diǎn)加強(qiáng)于singer point，如第一幅圖的（a）

Idea

• 首先，使用FCOS一樣的流程，Coarse Cls Score and Coarse Box Reg 就是之前網(wǎng)絡(luò)輸出粗糙的分類以及回歸參數(shù)。有了回歸參數(shù)就相當(dāng)于有了對(duì)應(yīng)的于該點(diǎn)的Anchor框。將這個(gè)回歸參數(shù)fed到提出的Border alignment Moudle 里。
• Border alignment Moudle 為了保證實(shí)驗(yàn)的嚴(yán)謹(jǐn)性，只是用了1X1 Conv 進(jìn)行升維，將通道數(shù)上升至5C，每C個(gè)通道表示原始的singer point,left ,top,right,bottom五個(gè)feature sensitive map。然后對(duì)應(yīng)的BorderAlign模塊取出之前FCOS生成的每一個(gè)點(diǎn)生成的回歸參數(shù)，找到對(duì)應(yīng)anchor的邊界
• 下圖就是對(duì)應(yīng)的channel對(duì)應(yīng)5C的sensitive圖，為啥時(shí)5C作者后邊也給了對(duì)比實(shí)驗(yàn)。
• 對(duì)于每一個(gè)singer point,分別對(duì)應(yīng)每一個(gè)邊界取對(duì)應(yīng)該邊界的Channel上去進(jìn)行采樣N個(gè)點(diǎn)。然后做Channel wise maxpooling，那么每一個(gè)邊界的輸出相當(dāng)于是1x1xC,分別對(duì)應(yīng)origin,左右上下五個(gè)通道，然后將五個(gè)得到的結(jié)果concat之后放到singer point對(duì)應(yīng)的位置，所以輸出也是WH5C。然后再1*1 Conv降維。就和之前的特征圖一樣了，這一個(gè)流程就相當(dāng)于是做一次特征圖的增強(qiáng)了，對(duì)應(yīng)的singer point就包含了對(duì)應(yīng)chanor 邊框的extrame點(diǎn)的feature。
• 損失函數(shù)：就是兩次檢測(cè)的回歸分類的loss之和。

?

Experiments

驗(yàn)證該模塊對(duì)于分類以及回歸的各自的影響，從表格中看對(duì)于Iou高的情況更加work，說明邊框的信息更加能夠?qū)τ贗ou的提升。

第二個(gè)消融實(shí)驗(yàn)室采樣點(diǎn)個(gè)數(shù)的選取。

第三個(gè)是對(duì)于升維的卷積通道到底是5*C還是C一個(gè)探討

第四個(gè)是對(duì)于chanel wise maxpooing的驗(yàn)證

第五個(gè)就是關(guān)于bounding box中各種singer point inhancement的方式比較

第六個(gè)實(shí)驗(yàn)就是模塊work對(duì)iou的影響，可以看出對(duì)于iou閾值大的情況提升還是非常明顯

對(duì)模型的general驗(yàn)證

state of the art 方法展示

Conclusion

提出了一種目標(biāo)檢測(cè)算是新的思路，通過對(duì)邊界框信息的提取能夠能加有效的提取目標(biāo)，也提出了一種全新的邊界提取模塊，也是一種泛化性能好并且復(fù)雜度很低的網(wǎng)絡(luò)。

總結(jié)

以上是生活随笔為你收集整理的BorderDet（论文解读）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。