【图像超分辨率】基于ResNet或GAN的遥感图像超分辨率论文
基于ResNet或GAN的遙感圖像超分辨率論文
- 《空間感知殘差網絡的遙感圖像超分辨率重建》
- 操作：
- 遙感圖像特點：
- 網絡模型：
- 去掉批處理層的原因:
- 具體操作
- 損失方程：
- 《改進的殘差卷積神經網絡遙感圖像超分辨率重建》
- 方法：
- 操作：
- 不使用池化層的原因：
- 《基于對抗網絡遙感圖像超分辨率重建研究》
- 方法：
- 遙感圖像特點：
- 本文的改進：
- CGAN原理：
- 算法改進：
- 網絡結構：
- 損失函數：
- 數據集：
- 《基于生成對抗網絡的單幀遙感圖像超分辨率》
- 遙感圖像特點：
- 改進點：
- 網絡結構及參數設置：
- 對生成器 G ：
- 對判別器 D ：
- 損失函數：
- 數據集：
- 優點：
這一周閱讀了幾篇針對遙感圖像的超分辨率論文，其中兩篇基于的是殘差網絡做改進，另外兩篇是基于生成對抗網絡。遙感圖像與普通圖像有較大區別，具體表現在紋理特征明顯、成像幅寬較大、具有較多的地物特征等。因此不能直接將普通圖像的超分辨率方法直接應用于遙感影像。這些文章中的改進點，大多是在調整網絡結構、增加卷積層數量、改變損失函數等，對于處理遙感影像，取得了較好效果。
《空間感知殘差網絡的遙感圖像超分辨率重建》
目的： 提升遙感圖像超分辨率重建算法紋理細節信息還原能力。
方法： 基于特征空間感知損失深度殘差網絡的遙感圖像超分辨率重建算法。
操作：
可以學習到遙感圖像更多的紋理細節信息，最終對遙感圖像進行了有效的超分辨率重建。
遙感圖像特點：
（如山川、河流、城市建筑群等靜態物體及空中的飛機等運動物體）
網絡模型：
采用了深度殘差網絡作為網絡模型，并對傳統的殘差網絡做了些細微的調整。
本文使用的殘差網絡的殘差塊則***去掉了所有的批處理化層***及***每個殘差塊之后的線性整流函數***。
為了更好地還原出遙感圖像的紋理信息和細節信息，本文***將傳統的深度殘差網絡中的批規范化層去掉***了，并將殘差塊調整成了３２層。
雖然增加殘差塊的數量會使網絡的計量增加，計算效率降低，但由于去除批處理化層可以節省計算內存，因此在相同的ＧＰＵ內存下，相比傳統的殘差網絡，可以堆疊更多的殘差塊，以提取更多的特征，達到更好的超分辨率重建效果。
去掉批處理層的原因:
對于圖像超分辨率重建，網絡輸出的圖像在色彩、對比度、亮度上要求和輸入一致，改變的僅僅是分辨率和一些細節，而批處理化層對圖像來說類似于一種對比度的拉伸，任何圖像經過批處理化層后，其色彩的分布都會被歸一化，圖像原本的對比度信息被破壞，所以批處理化層會影響輸出圖像的質量，因此在超分辨率重建過程中去掉批處理層。）
具體操作
輸入的圖像塊首先***經過一個卷積層得到256個特征圖譜***（feature map）。
接著，經過32個殘 差塊、一 個卷積層，
其中卷積層以及殘差塊中的卷積層的填充輸入圖像邊界（padding）均為０，使得亞像素卷積層之前輸入輸出圖像塊的分辨率保持不變， 降低了整個網絡模型的參數數量。
對所有的殘差塊，卷積核的大小設為３像素×３像素，由于排列了足夠多的殘差塊， 該網絡模型具有足夠大的感受野（receptive field），能夠得到更好的圖像重建效果。
為了避免由于堆疊太多的殘差塊導致訓練不穩定，將經過第一層卷積處理的結果***乘以一個小于１的系數與殘差網絡的輸出相加***，作為亞像素卷積層的輸入.
最后經過亞像素卷積層改變圖像尺度，得到整個網絡的輸出。
損失方程：
內容損失（參考自 Lossfunctions for image restoration with neural networks)
L1范數損失函數，也被稱為最小絕對值偏差（LAD），最小絕對值誤差（LAE）。總的說來，它是把目標值（Yi)與估計值（f(xi))的絕對差值的總和（S)最小化：
本文使用Ｌ１損失作為本文模型的內容損失，見式（６）、式（７）。
式中：Ｉｅｓｔ為模型生成的圖像；Ｉｇｔ為對應的高分辨率圖像；ｗ 為輸入模型圖像的寬度；ｈ為輸入模型圖像的高度；ｃ為輸入模型圖像的通道數。內容損失通過除以圖像所有像素數量值進行歸一化。
特征空間的感知損失（參考自Generating image with perceptual similarity metrics based on deep networks)
在計算距離之前先通過一個可微函數φ將Ｉｅｓｔ 和Ｉｇｔ 映射到一個特征空間
式中：Ｉｅｓｔ為模 型 生 成 的 圖 像；Ｉｇｔ為 對 應 的 高 分 辨率圖像；φ為將Ｉｅｓｔ和Ｉｇｔ映射到一個特征空間的可微函數。這 使 得 模 型 產 生 具 有 與 真 實 圖 像 相 似 特征，但可能與真實圖像像素精度不那么匹配的圖像，從而能夠更好地重建出圖像的紋理細節信息。
總損失函數
為了更好地還原出遙感圖像的細節紋理 信 息，在 內 容 損 失 的 基 礎 上，在 損 失函數部分加上了特征空間感知損失。SRRSP 的損失函數表示為式（９）。
式中：Ｌ 為 總 損 失；Ｌｃｏｎｔ為 內 容 損 失；ＬＰ 為 特 征空間的感知損失；λ為特征空間感知損失的比例系數。根據對不同的λ值進行實驗，可知若λ太小網絡不能很好地重建出遙感圖像的細節信息，若λ太大，網絡 生 成 的 高 分 辨 率 圖 像 的 ＰＳＮＲ 會 變 小，因此這里λ取0.001。
實驗數據集：
為了訓練SRRSP，使 用 了 公 開 的UCMerced-LandUse數 據 集。從飛機、建筑物、高密度住宅區、十字路口、中密度住宅區、儲油罐、網球場這７類圖像中各選用３０張作為訓練圖像。輸入神經網絡模型的高分辨率圖像塊分辨率大小為６４像素×６４像素×３通道，是從訓練數據集中隨機截取的。
低分辨率圖像塊的分辨率大小為３２像素×３２像素×３通道，由對應的高分辨率圖像下采樣得到。為了防止訓練 的 過 程 中 過 擬 合，本 文 采 取 了 下 列 的 方法：對UCMerced-LandUse數據集中的遙感圖像進行隨機截取并 將截取的圖像塊旋轉隨機的角度或水平、垂直翻轉。最終得到４×１０４個高、低分辨率遙感圖像對。
《改進的殘差卷積神經網絡遙感圖像超分辨率重建》
方法：
在 VDSR 基礎上，將神經網絡的卷積層數目由 20 層增加到 24 層，改進激活函數為 PＲeLU 函數，并以 80 000 張遙感圖像作為訓練集，訓練迭代次數到 40 000 次網絡收斂，最終針對遙感圖像進行了超分辨的網絡訓練。
操作：
由于 VDSR算法以彩色圖像作為訓練集，而對遙感圖像的超分辨效果沒有其對彩色圖像的超分辨效果好，本文在 VDSR的基礎上，對網絡的結構與激活函數進行了優化，使用遙感圖像作為訓練集，客觀參數與主觀視覺上都好于其他算法。
不使用池化層的原因：
本文算法與 VDSＲ、SＲCNN 算法都沒有使用池化層，因為下采樣層通常應用于圖像的分類，保證了圖像特征。同時，可以減少參數增加網絡性能，但圖像超分辨的目的是為了獲取圖像更多的細節信息，與池化層的作用恰好相反，所以在圖像超分辨算法中并不需要池化層。
《基于對抗網絡遙感圖像超分辨率重建研究》
方法：
基于條件生成對抗網絡的遙感圖像超分辨率重建的改進模型。為了加快模型的收斂速度，在生成器網絡中 使用內容損失和對抗損失相結合作為目標函數。另外為了提高了網絡訓練的穩定性，在判別器網絡中 引入梯度懲罰函數對判別器梯度進行限制。
遙感圖像特點：
在獲取遙感圖像的過程中，由于受到頻率干擾，大氣擾動和成像設備等多因素的影響，導致傳統的遙感圖像分辨率普遍偏低。高分辨率遙感圖像相比低分辨率遙感圖像，圖像細節信息更加豐富，更有利于遙感數據的后續處理。
本文的改進：
CGAN原理：
CGAN 結合了卷積神經網絡強大的特征提取能力，在此基礎上加以條件輔助生成樣本。為得到高分辨率的遙感圖像，在對網絡進行訓練時可將高分辨率的遙感圖像作為額外輸入，其作用相當于網絡訓練的控制條件，在訓練過程中將上述的控制條件作為標簽加到訓練數據中，最后得到所需要的高分辨率遙感圖像。
算法改進：
采用梯度懲罰來滿足Lipschitz 連續性。為了盡可能將判別器的梯度▽D(x)變大，而 Lipschitz 連續性限制要求判別器的梯度▽D(x)不能超過 K
網絡結構：
CNN生成器網絡采用了包含 兩個1/2間隔的卷積單元，9 個剩余殘差單元 和 兩個反卷積單元 ，每個殘差模塊由一個卷積層，實例歸一化層和 ReLU激活組成。在圖像生成過程中，以高分辨率遙感圖像作為條件變量，引導低分辨率圖像重建。不同于一般的對抗網絡生成器輸入為任意隨機向量，輸入為1/4 采樣的低分辨率遙感圖像，輸入的每張低分辨率遙感圖像對應有高分辨率遙感圖像進行重建。
判別器采用 PatchGAN的方法，即 對每張輸出圖像的每個 N×N 小塊（Patch）計算概率，然后再將這些概率求平均值作為整體的輸出。這樣的結果通常通過卷積層來達到，最終輸出的矩陣中的每一個元素，實際上代表著原圖中一個比較大的感受野，也就是對應著原圖中的一個 Patch。該方法能夠加快模型收斂和計算速度。
損失函數：
1. 對抗損失：
2. 內容損失：
是估計生成圖像和真實圖像兩者的差距，這里的內容損失為 L2 損失，它反映的是生成的特征圖和真實的特征圖之間的距離
3. 最終損失：
上式中由于是加權合并，所以? 為 0 到 1 的常數。
數據集：
本文采用的數據集，大約包含了 1 萬張 30類的高分影像，包含了機場，立交橋和車場等15 個類別，訓練集和測試集的比例 8:2，進行 1/4采樣，使用 SSIM（結構相似度）和 PSNR（峰值信噪比）兩種評價算法對重建圖像進行評價，同時使用 SRCNN,FSRCNN,SRGAN 重構出的超分辨率圖像作為結果對比。
訓練時，為了避免模型陷入局部最優解，首先預訓練好 VGG19 模型作為初始化模型。訓練過程中，將生成器和判別器進行交替訓練，學習率設置為 0.0002，迭代次數為 500，訓練時間為72 小時。
《基于生成對抗網絡的單幀遙感圖像超分辨率》
遙感圖像特點：
遙感圖像的分辨率對圖像解譯質量有著重要影響，與低分辨率圖像相比，高分辨率圖像具有更高的像素密度，能
夠提供更多的色調、形狀和紋理信息。
改進點：
使用均方誤差作為待優化損失函數，被應用于單幀遙感圖像超分辨率時存在兩個主要問題：
一是網絡難以訓練，常會出現梯度消失問題；
二是重建結果過于平滑。
網絡結構及參數設置：
由于遙感圖像的多樣性和復雜性，需設計專門的超分辨率神經網絡結構，總體上，網絡屬于條件生成對抗網絡，高分辨遙感圖像作為條件變量，指導低分辨率圖像重建過程。本文網絡生成器的輸入為經雙線性立方插值方法 4 倍放大后的低分辨遙感圖像自編碼器類型網絡結構設計參考了 SegNet，設計的網絡結構擁有更多的卷積組和特征圖數量，為增強生成圖像質量及加速網絡收斂，每一卷積組和其對應的解卷積組之間都使用了“跳躍連接”
對生成器 G ：
對判別器 D ：
除輸入輸出不同以外，判別器的網絡結構與生成器一致。具體地，判別器的輸入包含生成器的輸出及相應的真實高分辨率遙感圖像，輸出仍是與輸入同樣尺寸的圖像形式，這一點與傳統GAN輸出為判別概率有很大區別。在其他超參數的設置方面，batch_size為 16，epochs為 100，初始學習率為 0.000 1，每 2 000次迭代學習率衰減為0.95，γ 初始值設置為0.75。
損失函數：
在傳統 GAN 中的訓練過程早期，判別器 D 的學習能力遠遠超過生成器 G ，從而造成 model collapse 問題。由此，在網絡訓練中使用一種基于 L1 范數和判別器重構誤差的損失函數，該損失函數不僅可以平衡生成器和判別器的競爭力，而且可以增加增強生成圖像視覺質量。
式中，IHR 表示真實高分辨率圖像，ILR 表示對應的低分辨圖像。生成器和判別器的待優化損失函數及更新
規則有：
式（3）~（7）中，x 表示真實的高分辨率圖像，z 表示對應低分辨圖像，y 表示生成高分辨率圖像，LDr
、LDf 分別表示判別器關于 x 和 y 的損失，θG、θD 分別表示生成器和判別器的相關參數。 λk 表示 k 的比例增益，kt 表示 k的第 t 次更新值，參數 k 可以平衡生成器和判別器的競爭力。 γ 是生成樣本損失的期望與真實樣本損失的期望值之比，該參數可以控制生成圖像多樣性和視覺質量之間的權衡。
數據集：
實驗使用數據集源自 NWPU-RESISC45 高分辨率遙感圖數據集。NWPU-RESISC45 包含機場、立交橋、火車站、住宅區等 45 個場景類別，每一類擁有 700 幅圖像，保證了實驗數據的真實性和多樣性。對原始數據集中的每一類別圖像選取10幅，共450幅圖像組成實驗數據集。按照慣例，將圖像樣本順序隨機打亂后，按照8∶2的比例進行劃分，80%的樣本用于訓練，20%的樣本用于測試。
優點：
克服了傳統方法重建結果整體平滑的缺點，重建結果恢復了更多的高頻細節。這主要得益于本文網絡采用了基于生成對抗網絡的框架，同時不再使用均方誤差作為損失函數。在對單幀遙感圖像做超分辨時，其他生成網絡主要是對多種可能的生成圖像取平均，該方式會得到一個較小的均方誤差值，但也會造成圖像模糊。生成對抗網絡一次可生成多個高分辨圖像，然后將這多個生成圖像隨機映射到一個潛在的輸出上，從而增加了生成圖像的多樣性。受BEGAN啟發，本文網絡使用超參數 γ 來平衡生成圖像多樣性和視覺質量，這實現了最優的遙感圖像超分辨結果。
總結
以上是生活随笔為你收集整理的【图像超分辨率】基于ResNet或GAN的遥感图像超分辨率论文的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： vue全家桶都有哪些
- 下一篇： 【图像超分辨率】Remote Sensi