文章目錄

• • 一、背景
  • 二、動機
  • 三、方法
  • • 3.1 Boundary Patch Extraction
    • 3.2 Boundary Patch Refinement
    • 3.3 Learning and Inference
  • 四、實驗

Paper: https://arxiv.org/abs/2104.05239
Code: https://github.com/tinyalpha/BPR

一、背景

實例分割：

• 給圖片中的每個目標生成一個帶有類別信息的 pixel-wise 的 mask
• 目前比較流行的是 Mask RCNN 系列，也就是使用 Faster-RCNN 檢測目標，然后使用 mask 分支來對box內(nèi)部進行二類別的分割。

現(xiàn)有的實例分割的mask的質(zhì)量仍然不盡如人意（圖1左），邊界很粗糙，而且沒有對齊目標邊界。原因主要有兩個

• 特征圖的分辨率太小，mask rcnn 的是 28x28，[38][43]的是輸入圖像的1/4，導(dǎo)致細小的邊界都消失了，預(yù)測出來的都是粗糙或不明確的。
• 邊界像素所占的比例太少，少于 1% [18]，而且本來就很難分類，所以，同等的看待所有的pixels可能會導(dǎo)致優(yōu)化偏向于目標內(nèi)部區(qū)域，邊界區(qū)域效果較差。

如果能提升目標邊界附近的效果，那么可以較大的提升實例分割的效果。

作者做了一個上限實驗，在邊界附近特定距離時（1px/2px/3px），使用真實的標簽來代替預(yù)測的結(jié)果，AP 有較大的提升。

二、動機

現(xiàn)有方法中，也有很多通過引入邊界分支來提升對邊界分割的效果，但這些也依賴于對邊緣的準確預(yù)測，作者認為實例的邊界預(yù)測和實例分割的復(fù)雜度是不相上下的。

受啟發(fā)于分割真值的標注，標注人員在標注局部細小邊界時，需要放大原圖進行標注，在標注大邊緣時，不需要放大即可標注。

故本文提出了一個在概念上很簡單，但很有效的方法：crop-then-refine。

• 得到一個粗糙的mask后，首先沿著 boundaries 抽取一系列的子塊
• 將mask的patch和抽取出來的boundaries patch進行concat，共同送入 refinement 網(wǎng)絡(luò)（BPR, boundary patch refinement)。

上述方法可以解決：

• 1、小的patch就可以保存高分辨率
• 2、小的patch中的邊界像素占比會提升，緩解之前的極度不平衡

三、方法

3.1 Boundary Patch Extraction

作者使用 sliding window 的方法提取邊界 patch，即以邊界為中心，密集的生成正方形框，然后使用 NMS 濾掉部分框

3.2 Boundary Patch Refinement

Mask Patch：

Boundary Patch Refinement Network：

該網(wǎng)絡(luò)的目的是實現(xiàn)對每個 boundary patch 的二類分割，只要使用任意一個語義分割網(wǎng)絡(luò)，實現(xiàn)輸入4路（RGB+1 binary mask patch)，輸出2類即可。

作者選擇了 HRNetV2 來作為 refinenet，可以保證高分辨率的保持。

Reassembling： refine 之后，使用這些patch來代替沒有refine之前的patch，對于重疊的相鄰區(qū)域，對其取均值后，使用閾值判斷，如果大于0.5則判斷為前景，否則判斷為背景。

3.3 Learning and Inference

訓(xùn)練時，作者僅僅抽取那些預(yù)測的mask和gt的iou大于0.5的實例的boundary patch。但所有預(yù)測的實例在 inference 階段都會保留。

模型輸出是被從 gt 中提取出的 mask patch 監(jiān)督的，之后做逐點的二分類cross-entropy損失。

訓(xùn)練時，作者的 NMS 閾值設(shè)置為 0.25，inference 時會根據(jù)速度的需要來選擇不同的閾值。

四、實驗

經(jīng)過消融實驗后，作者使用如下的超參數(shù)：

• 使用mask patch
  

• boundary patch 摳圖大小為 64x64，且無 padding
  

• 送入 refinement network 的patch被resize為 256x256的效果最好
  

• NMS：0.55時取得了好的效果
  

總結(jié)

以上是生活随笔為你收集整理的【实例分割】cvpr2021_Look Closer to Segment Better的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。