Landslide Inventory Mapping Using Bi-Temporal Optical Remote Sensing Images Remote Sensing Images

基于gan的Siamese框架，利用雙時間光學遙感圖像繪制滑坡清單

?

下載： https://ieeexplore.ieee.org/abstract/document/9042318

Published in:?IEEE Geoscience and Remote Sensing Letters?( Early Access )

大類：工程技術2區，小類：三區（遙感）

202005 中國地質大學

中國地質大學海洋科學與技術學院

武漢大學遙感與信息工程學院

landslide inventory mapping (LIM)

?

目錄

Landslide Inventory Mapping Using Bi-Temporal Optical Remote Sensing Images Remote Sensing Images

摘要：

Introduction:

METHODOLOGY

A. Conditional GAN for Domain Adaptation

B. Siamese Network for Landslide Detection

C. Training Objective and Testing Detail

D. Implementations

III. EXPERIMENTS

IV. CONCLUSION

---

?

摘要：

受變化檢測方法啟發，采用雙時相光學遙感影像進行滑坡檢測：區分變化區域和不變區域，以及在變化區域之外進行滑坡檢測。

由于滑坡的復雜性和不確定性，用簡單的模型很難同時分離變化和未變化的滑坡區域。因此我們在孿生網絡中引入了GAN，用于滑坡清單繪制。GAN-based Siameseframework (GSF)

?????? GSF包括兩個級聯的模塊：領域自適應模塊和滑坡檢測模塊。前者通過對抗性學習（GAN）對滑坡前、滑坡后圖像進行跨域映射，然后將成對的圖像翻譯為同一域，以抑制雙時遙感圖像的域差異。與此同時，后一個模塊的目標是利用Siamese模型進行像素級滑坡檢測。

這種方法不需要預處理或者后處理。

大量的實驗和與其他先進方法的比較驗證了我們的方法的效率和優越性。

?

Introduction:

?????? 滑坡的成因；滑坡的危害及檢測意義；

?????? 以前的工作；大多數從變化檢測方法演進而來的滑坡清單繪制（LIM）方法大致分為兩類：基于圖像差異和基于后分類。(image difference based and post-classfication based.)

?????? 前者對圖像對進行預處理，將差分圖（difference map）作為輸入的特征圖進行后續的滑坡檢測。接著介紹了相關工作。（CVA, Markov random field (CDMRF), FCMs）

?????? 通常，基于圖像差異的方法不僅能有效地減少噪聲和信息冗余的負面影響，而且能很好地利用雙時間圖像之間的結構化和相關信息。然而，差異圖像本身明顯失去了對地面目標的內在表征，給后續的滑坡檢測帶來了更多的模糊和不確定性。

?????? 而基于后分類的方法則直接在原始的雙時間圖像上提取特征，然后通過對特征圖的對比來檢測滑坡區域。介紹了相關工作（SVM,2D-CNN(孿生網絡？or 拼接？), GAN(拼接為多通道圖像送入GAN，產生預測的變化圖。)，DSCN(深度卷積孿生網絡，設計contrastive loss)）

值得注意的是，基于后分類的方法需要具有高代表性和探究能力(high representative and explorative capabilitie)的模型。因此，采用深度學習技術通常是這類方法的主流。

雖然以上工作取得了不錯的進展，但是沒有一個方法將滑坡檢測視為一個單純的變化檢測任務。這樣圖像中存在的其他變化可能會被誤視為滑坡變化（比如路，運河，植被變化等），使LIM性能不理想。

因此，設計一個既能有效區分滑坡與未發生滑坡的區域，又能有效區分其他變化區域的特殊框架是十分必要和有意義的。因此我們設計了一個端到端的基于GAN和孿生網絡（GSF）用于LIM。

本文貢獻：

提出一個用于LIM的級聯系統（領域自適應模塊和滑坡檢測模塊），集成GAN和孿生網絡。

條件GAN，抑制雙時相圖像之間未變化區域的差異（其他差異）。它由像素級條件鑒別器和參考變化圖引導。

設計一種新的混合損失函數，包括對抗損失，自適應損失和對比損失，能夠更好的訓練GSF。

METHODOLOGY

A. Conditional GAN for Domain Adaptation

GSF包括兩個級聯的模塊：領域自適應模塊和滑坡檢測模塊。

前者利用像素-pix GAN衍生的條件GAN，學習將滑坡前的圖像域轉換為滑坡后的圖像域。后者利用孿生網絡，將轉換過域的滑坡前圖片，和滑坡后圖片成對輸入孿生網絡，進行滑坡檢測。訓練的時候，兩個模塊同時訓練。測試的時候只用到G網和滑坡檢測模塊。

用GAN的原因（區域自適應）

光照，大氣條件，時間差異這種變異性會給LIM帶來負面影響。因此，我們采用域自適應模塊來消除成對圖像之間對顏色分布、紋理特征和上下文信息的域偏移，然后抑制未改變區域的差異，突出變化區域。

條件GAN的主要目標是學習G:T1→T2（從滑坡前到滑坡后的圖像域映射）的映射模型，使生成的圖像看起來與滑坡后的圖像相似，但保留了它們的內在信息。D網用來判別G（T1）和T2。

對抗學習由兩個損失函數激勵：adversarial and adaptation losses。

Adversarial loss:

為了獲得更好的域自適應性能，我們的生成器不僅要欺騙鑒別器，而且要使生成的圖像在未改變的區域接近滑坡后圖像。因此，我們設置自適應損失嚴格約束I(T2)與G(I(T1))之間的關系。

adaptation loss:

C是二值變化圖（ground truth）,0是未變化區域，1是變化區域。? 按元素相乘。

B. Siamese Network for Landslide Detection

滑坡檢測模塊由contrastive loss激勵。

滑坡檢測模塊，使用孿生網絡在圖像域T2(滑坡后)上進行生成圖片和滑坡后圖像的像素級對比。generated 和 postlandslide 是孿生網絡的輸入，輸出是兩個多通道的特征圖。按像素計算兩個特征圖歐氏距離，然后生成一個和輸入圖片一樣大小但是單通道的landslide map。（滑坡圖）。采用contrastive loss更新孿生網絡檢測模塊。

L是gt 滑坡變化圖，類似于C。m是距離閾值，設為2。μN，μP分別表示滑坡Negative和Positive像素分布的相對重要性（權重），以全局平均頻率平衡定義為:

N是總共的訓練樣本對數。W,H是圖像寬和高。

d表示在不改變輸入圖像patch形狀的情況下，兩個feature map之間的成對歐幾里得距離的評價，定義為：

因此，contrastive loss在像素級上表示為：

最小化這種損失可以使非滑坡像元對的特征點更加接近，而使滑坡像元對的特征點更加遙遠。這有助于siamese檢測器將滑坡與其他變化地區區分開來。

C. Training Objective and Testing Detail

訓練過程:

Test（predict）：檢測器閾值分割。

the ?nal LIM result is calculated by the pixel-level binarization of the landslide prediction score map at the middle threshold of 0.5.

D. Implementations

三個模塊都是編解碼器的結構。

G:兩個下采樣卷積模塊，9個殘差塊，兩個上采樣轉置卷積模塊。

D:兩個下采樣兩個上采樣卷積模塊。

Siamese detector : 兩個擴張卷積下采樣模塊，四個基礎的擴張卷積模塊，兩個擴張卷積上采樣模塊。最后加一個卷積層和tanh激活層。

?

模型結構的解釋說明：

?????? 上采樣下采樣過程能讓網絡學習高層特征，改進GSF的生成過程；擴張卷積層可以增強孿生檢測模塊的感受野，加強模型的抗噪聲性能；為了防止丟失圖像信息，整個神經網絡沒有設置池化層，而是在卷積的時候設置padding =1,stride =2 ,而殘差層的卷積padding =1,stride =1。所有的權重和bias都是零均值高斯分布初始化的。

?????? 200eopch 模型收斂。前100epoch Lr=2x10-4,然后線性衰減至0。

?????? 分層訓練：前40epoch，訓練G，D，讓G可以很好的將T1圖像翻譯到T2圖像域。只用到了LADV and LADA。后160epoch，訓練所有模型，優化整體的損失L(G, D, S)。

III. EXPERIMENTS

A. Data Description

兩幅配準的大尺度雙時相VHR光學遙感影像，9778x6061，覆蓋14.82平方公里。這是在香港大嶼山島西部采集的。0.5m的幾何分辨率，分別于2008，2011年獲取。訓練-測試：3：1。

裁剪為512x512, 并通過一定的重疊和旋轉來增加訓練樣本。

B. Evaluation Metrics

評價指標：Precision, ?Recall, F1, OA。

在對應的滑坡參考圖相同的情況下，高精度和召回率分別意味著低誤報率和漏報率。作為精確度和召回率的加權調和平均值，高F1表示有效和通用的模型。另外，OA也反映了該方法的整體性能。

C. Results and Evaluations

difference-based methods 精確率比召回率高，postclassi?cation-based methods召回率比精確率高。我們提出的GSF在這四個評估指標中取得了最好的成績。

IV. CONCLUSION

通過CGAN，將雙時相圖像轉換至同一圖像域（域自適應），抑制它們之間不變區域（非滑坡）的差異。

再使用孿生網絡進行像素級的滑坡檢測。

由于采用了特殊的設計，我們的GSF能夠在成對的圖像上探索更多隱式和正向的特征，并且不僅可以將滑坡與未改變的區域，還可以與其他變化的區域區分開。

?

總結

以上是生活随笔為你收集整理的基于gan和孪生网络框架，利用双时间光学遥感图像绘制滑坡清单Landslide Inventory Mapping Using Bi-Temporal Optical Remote Sensin的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。