Asymmetric Contextual Modulation for Infrared Small Target Detection

本文開源代碼及單幀紅外小目標檢測數(shù)據(jù)集：

code：https://github.com/YimianDai/open-acm

sirst：https://github.com/YimianDai/sirst

427張短波、中波，950nm紅外圖像，5種標注方式 (a)類別標簽 (b) 實例分割 ? 邊界框 (d) 語義分割 (e) 實例定位

模型驅(qū)動方法存在的缺點：

具有全局唯一顯著性、稀疏性或高對比度的目標假設(shè)在現(xiàn)實世界圖像中不成立。 真正的暗淡目標可能不顯眼且對比度低，而許多背景干擾物滿足這些假設(shè)，從而導致許多虛景(誤報)。

許多超參數(shù)，對圖像內(nèi)容敏感且高度相關(guān)，這對于高度可變的場景不夠穩(wěn)健。

缺乏對整體場景的高層次理解，無法檢測到極端暗淡的場景并去除顯著的干擾因素。（需將高級上下文語義信息嵌入模型進行更好的檢測）。

本文動機：

在紅外小目標檢測領(lǐng)域研究的深度學習方法很少。

• 缺乏公共數(shù)據(jù)集
• 缺少目標內(nèi)在信息（SPIE將紅外小目標定義為在256×256圖像里具有小于 80 像素（9×9）的總空間范圍）
• 深度網(wǎng)絡(luò)即需要學習語義表示也需要兼顧細節(jié)特征

現(xiàn)有先進檢測網(wǎng)絡(luò)為通用圖像數(shù)據(jù)設(shè)計，不適合直接用于紅外小目標檢測。需要進行以下改進：

• 重新定制下采樣方案。（隨著網(wǎng)絡(luò)的加深，紅外小目標的特征幾乎無法保留。）
• 重新定制注意力模塊。（現(xiàn)有的注意力模塊傾向于聚合全局或遠程上下文，潛在的假設(shè)是對象相對較大并且更全局地分布，全局注意力模塊會削弱紅外小目標的特征。）
• 重新定制特征融合方法。（小目標可能被深層背景，單向、自上而下的方式融合跨層特征可能不起作用。）

評價指標：

• nIoU（the normalized Intersection over Union）
  $$\mathrm{n}\mathrm{I}\mathrm{o}\mathrm{U}=\frac{1}{N}\sum _i^N\frac{\mathrm{T}\mathrm{P}[i]}{\mathrm{T}[i]+\mathrm{P}[i]?\mathrm{T}\mathrm{P}[i]}$$
  其中，N 是總樣本數(shù)。

• ROC（the receiver operating characteristic）

ACM模型（Asymmetric Contextual Modulation）

其中X是低級(low-level)特征，Y是高級(high-level)特征，C為通道數(shù)，H×W表示特征圖大小。

• Top-Down Modulation

• 高層特征提供了更準確的目標語義信息；

• 全局信道上下文是一個稱職的調(diào)制信號。

• Bottom-Up Modulation

• 用低級特征的空間細節(jié)豐富高級特征。

• Asymmetric Contextual Modulation Module

  同時利用自上而下(Top-Down)的全局注意力調(diào)制和自下而上(Bottom-Up)的局部注意力調(diào)制來交換多尺度上下文，以便對語義信息和空間細節(jié)進行更豐富的編碼。
  $$\mathbf{Z}=\mathbf{G}(\mathbf{Y})?\mathbf{X}+\mathbf{L}(\mathbf{X})?\mathbf{Y}$$
  

示例：FPN 和 UNet

紅外小目標檢測問題看成是語義分割問題，將ACM模型運用到FPN及U-Net網(wǎng)絡(luò)中

主干網(wǎng)絡(luò)采用ResNet-20，如下所示，b = 3。為了保留小目標，下采樣僅在 Stage-2 和 Stage-3 的第一個卷積層執(zhí)行。

實驗結(jié)果：

• Ablation Study

  • 下采樣方案(Regular-ACM特征圖被下采樣4倍， ACM-本文下采樣方案)。
  • 雙向注意力調(diào)制的影響(TopDownLocal、BiLocal)
  • 非對稱注意力調(diào)制的影響(BiLocal、BiGlobal、ACM)

• 與最先進方法的比較

  IoU 和 nIoU 反映的是固定閾值下的分割效果；ROC 反映的是滑動閾值下的整體效果。

總結(jié)

以上是生活随笔為你收集整理的红外弱小目标检测之“Asymmetric Contextual Modulation for Infrared Small Target Detection“阅读笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。