論文

?論文題目：A TRANSFORMER-BASED SIAMESE NETWORK FOR CHANGE DETECTION

收錄：IGARSS?2022

論文地址：https://arxiv.org/abs/2201.01293

論文代碼：GitHub - wgcban/ChangeFormer: A Transformer-Based Siamese Network for Change Detection

摘要

論文提出了一種基于Transformer的孿生網絡結構（ChangeFormer），用于從一對已配準的遙感圖像中進行變化檢測（change detection，CD）。

與目前基于全卷積網絡的CD框架不同，該方法將分層結構的Transformer編碼器與多層感知（MLP）解碼器結合在一個孿生網絡結構中，有效地呈現精確CD所需要的多尺度遠程細節。

在兩個公開CD數據集（LEVIR-CD和DSIFN-CD）上取得最優效果。

1 引言

變化檢測（CD）目的是檢測不同時間獲得的一對已配準圖像的相關變化。

目前SOTA的CD方法主要基于深度卷積網絡ConvNet，因為其具有強大的特征提取能力。

注意力機制能捕獲全局信息，但難以關聯時空上的長距離信息。

Transformer網絡具有更大的有效接受域（ERF）——在圖像中任何一對像素之間提供比卷積神經網絡強得多的上下文建模能力。最近比較火的Tranformer在CV方面（圖像分類、分割）表現出其強大的性能，如ViT、SETR、Swin、Twins和SegFormer等。

雖然Transformer具有更大的接收域和更強的上下文塑造能力，但有關于CD的工作卻很少。

Transformer結構與ConvNet編碼器（ResNet18）結合使用，能增強特征表示，同時保持基于ConvNet的整體特征提取過程。

本文表明，這種對ConvNet的依賴是非必須的，可以僅使用一個Transformer編碼器 + 一個輕量MLP解碼器 完成變化檢測任務。

2 方法

ChangeFormer網絡如圖所示。

大概流程：?

構成孿生網絡的分層Transformer編碼器（hierarchical transformer encoder）用于提取雙時間圖像的粗粒度和細粒度特征；

四個差異模塊（difference modules）計算多尺度特征差異；

一個輕量MLP解碼器（lightweight MLP decoder）融合這些多尺度特征差異并預測CD mask。

2.1 Hierarchical Transformer Encoder

給定一個輸入的雙時間圖像，用分層Transformer編碼器生成多級特征，具有變化檢測所需要的高分辨率和低分辨率特征。用Difference Module處理后傳入MLP解碼器獲得變化特征。

主要組成部分： Transformer Block、 Downsampling、 Diffrence Module

Transformer Block

?為減少計算量，首先使用Sequence Reduction對圖像進行處理，縮小圖像。

先利用序列約簡比率R對輸入patch進行reshape，減小尺寸，擴展通道數。再對通道數進行線性映射到原始通道數。

為增加位置信息，使用兩個MLP層和一個深度可分離卷積。不同于ViT的絕對位置編碼，這里使用的是相對位置編碼，可以在測試時使用不同于訓練時的分辨率的圖像。

Downsampling

下采樣，每個Transformer Block之前都接著一個Downsampling Block，對輸入的patch進行下二分之一采樣，減小尺寸。?再經歷Transformer提取特征，也因此生成了多尺度的差異特征。

Difference Module

共有4個差異模塊，接收來自孿生網絡兩條分支的4種不同尺寸的特征，并進行拼接，再卷積。

并沒有使用絕對差值，而是在訓練過中學習每個尺度上的最優舉例度量。

2.2 MLP Decoder

MLP解碼器： 聚合多級特征差異圖來預測變化圖。

3個主要步驟： MLP & Upsampling、 Concatenation & Fusion、 UPsampling & Classification

首先利用MMLP層對多尺度差異特征進行處理，上采樣到特定尺寸 H/4*W/4 。

再將四個差異特征在通道維度進行拼接，再利用MLP層融合這些特征。

利用轉置卷積將融合的特征進行上采樣到H*W。

最后，通過另一個MLP層處理H*W*Ncls的特征圖，實現分類。

3 實驗設置

數據集：兩個公開CD數據集：LEVIR-CD 和DSIFN-CD，不重疊切塊。

實施細節：隨機初始化網絡，訓練時數據增強，使用交叉熵損失和AdamW優化器。

性能指標：F1，IOU，precision，recall，OA（overall accuarcy）

4 結果討論

從表中可以看出，關于F1、IoU、OA值，相較于SOTA，

• 在數據集LEVIR-CD中，ChangerFormer分別提高了?1.2%、2.0%、0.1%；
• 在DSIFN-CD中，ChangerFormer分別提高了17.4%、23.5%、6.1%。

視覺化效果如下圖：

5 結論

• 提出一個基于Transformer的變化檢測孿生網絡。
• 網絡架構：一個孿生結構的分層Transformer編碼器 + 一個簡單的MLP解碼器。
• 通過比較實驗，表明不需要依賴深度ConvNet結構，一個帶有輕量MLP解碼器的孿生網絡就可以很好的實現變化檢測。

總結

以上是生活随笔為你收集整理的【论文笔记】A Transformer-based Siamese network for change detection的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。