文章目錄

• • 一、背景
  • 二、動機
  • 三、方法
  • • 3.1 整體結構
    • 3.2 特征存儲模塊 Feature Memory Module
    • 3.3 數據集層面的上下文聚合 Dataset-level Context Aggregation
    • 3.4 表達一致性的學習 Representation Consistent Learning
    • 3.5 Loss
  • 四、效果

論文鏈接： https://arxiv.org/pdf/2108.11819.pdf
代碼鏈接： https://github.com/CharlesPikachu/mcibi
代碼合并到 sssegmentation： https://github.com/SegmentationBLWX/sssegmentation

一、背景

在語義分割中，探索不同類別的 “共現” 特征來建模的方法層出不窮，如 PSP/ASPP/OCR 等，但這些方法通常只在圖像內建模，沒有考慮到對單個圖像以外的信息建模。但作者認為，深度學習模型是對一個數據集的整體數據學習，所以為了對像素進行更準確的分類，應該將其他圖像中對應的相同類別的語義信息也加入學習中。

二、動機

所以為了緩解上面提到的問題，本文作者提出 “挖掘單個圖像以外的上下文信息，來提升像素的特征表達”，如圖 1 所示。

• 首先，在訓練中，設置一個 “feature memory” 模塊，來存儲 dataset-level 的各個類別的歷史輸入
• 之后，預測當前圖片的像素表達的概率分布，該概率分布是由真值的分布來監督訓練的
• 最后，使用加權聚合的 dataset-level 的表達來增強每個像素表達，這里加權的全職是由相應的類概率分布決定的。

此外，為了在整個數據集層面進一步使得類內更聚合和類間更分散，作者設計了一個“表達一致性學習策略”，來使得分類頭同時學習以下兩者：

• 整個數據集層面：不同類別的 dataset-level 的表達
• 單個圖像層面：pixel-level 的表達

三、方法

3.1 整體結構

首先，給定輸入圖像 $I$ 經過 backbone 得到輸出 $R\in C\times \frac{H}{8}\times \frac{W}{8}$，該輸出矩陣中存儲了圖像的像素表達。

然后，使用如下方式來挖掘單個輸入圖像之外的上下文信息：

• 不同類別的 dataset-level 的表達存儲在 feature memory module $M$ 中
• $A_{bi}$ 是提出的 dataset-level 的上下文聚合機制
• $C_{bi}\in C\times \frac{H}{8}\times \frac{W}{8}$ 存儲了來自于 $M$ 的 dataset-level 的上下文聚合信息
• $H_1$ 是分類頭，被用來預測像素表達的類別概率分布

為了將本文提出的方法嵌入現有的分割網絡中，作者給所利用的網絡設計了 self-existing context scheme，稱為 $A_{wi}$，于是有：

• $C_{wi}$ 存儲了當前輸入圖像的上下文信息

之后，$R$ 被增強：

• $F$ 是 transform function，被用于聚合原始表達 $R$，單個圖像之外的上下文表達 $C_{bi}$，圖像內部的上下文表達 $C_{wi}$

隨后，使用 $R_{aug}$ 來預測輸入圖像的每個像素的類別：

3.2 特征存儲模塊 Feature Memory Module

如圖 2 所示，維度為 $K\times C$ 的 feature memory module $M$ 被用來存儲不同類別的 dataset-level 的特征表達，$M$ 的初始化采用隨機初始化，在每次訓練之后使用移動平均的方式來更新：

• $m$：動量
• $t$：是當前 iter
• $L$：用來把 $R$ 的維度處理的和 $M$ 相同
• $m$：使用多項式退火方法來確定
  
• $T$：iteration 總數
• $p$ 和 $m_0$ 都為 0.9

$L$ 的實現：

• 首先，定義一個大小為 $K\times C$ 的矩陣 $R^{\prime }$，并使用 $M$ 中的值來初始化該矩陣
• $R$ 被上采樣，然后展成 $HW\times C$大小
• 然后，對于每個類別 $c_k$，則有：
  
• 其中，$GT$ of size $HW$ 是真值
• $R_{ck}$ of size $N_{ck}\times C$ 存儲了類別 $c_k$ 的表達
• $N_{ck}$ 是圖像中真值為 $c_k$ 的像素個數
• 之后，計算 $R_{ck}$ 和 $M_{[c_k,?]}$ 的相似矩陣 $S_{ck}$ of size $N_{ck}$
  
• 最后，$R^{\prime }$ 中的 $c_k$ 的表達被更新為：
  

3.3 數據集層面的上下文聚合 Dataset-level Context Aggregation

首先，預測一個大小為 $K\times \frac{H}{8}\times \frac{W}{8}$ 的權重矩陣 $W$，來存儲 $R$ 中的特征表達的類別概率分布：

• $H_1$：由兩個 1x1 卷積和 softmax 函數組成

然后，計算粗糙的 dataset-level representation 矩陣 $C_{bi}^{\prime }$：

• $C_{bi}^{\prime }$：大小為 $\frac{HW}{64}\times K$，存儲了 dataset-level 的聚合表達
• $permute(W)$：將 $W$ 的維度轉換為 $\frac{HW}{64}\times K$

由于 $H_1$ 僅僅使用了 $R$ 來預測 $W$，所以像素表達可能會類別錯誤，所以作者計算了 $R$ 和 $C_{bi}^{\prime }$ 的相關性，來獲得位置置信權重來進一步 refine $C_{bi}^{\prime }$，也就是：

• 首先，使用如下方式計算相關性 $P$：
  
  • $permute$ 用來將 $R$ 的維度變為 $\frac{HW}{64}\times K$
• 然后，refine $C_{bi}^{\prime }$
  
  • $permute$ 用來將 $R$ 的維度變為 $C\times \frac{H}{8}\times \frac{W}{8}$

3.4 表達一致性的學習 Representation Consistent Learning

由于分割網絡的目標是將整個數據集中的每個像素的特征表達影射到一個非線性空間中，但其訓練時是通過 mini-batch 的方式來訓練的，這種不一致的學習會導致網絡缺失從整個數據集的角度來將同類拉近，將不同類分散開的能力，于是作者提出了 representation consistent learning strategy。

實現：

在訓練時，使用 $H_2$ 來預測 $M$ 中的 dataset-level 表達的類別：

• reshape：將 $M$ reshape 到 $K\times C\times 1\times 1$ 的大小
• $H_2$：由兩個卷積層和一個 softmax 層構成
• $O^M$：保存了 $M$ 中的 dataset-level 的預測概率分布，$M$ 中的每個表達都是對整個數據集的同一類別像素表達的整合
• 所以，在預測 $O$ 和 $O^M$ 的時候使用共享的分類頭可以使得 $H_2$ 能夠 ① 提高圖像內的每個像素的分類能力 ② 從整個數據集中學習到如何將類內拉近，將類間分散開。

3.5 Loss

該 Loss 是一個多任務 loss，涉及到 $W$、$O^M$、$O$

$W$ 的 loss：

$O^M$ 的 loss：

$O$ 的 loss：

總體 loss：

• $\alpha =0.4$
• $\beta =1$

$M$ 的值在反向傳播中不更新

四、效果

學習到的特征的可視化：

在使用了本文的方法之后，學習到的特征的空間分布更明朗了，也就是同一個類別的像素表達更加集中，不同類別的像素特征表達更加分散。

總結

以上是生活随笔為你收集整理的【语义分割】ICCV21_Mining Contextual Information Beyond Image for Semantic Segmentation的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。