一、Address

ICC 2019的一篇paper，為清華團隊所寫

思路很有趣，也很容易想到，就是用比較火的GAN加上LSTM

Satellite Image Prediction Relying on GAN and LSTM Neural Networks

二、Introduction and Model

2.1 主要創新點

2.2 主要任務

本質上是時空序列預測問題，利用的是衛星云圖

主要是過去的序列預測未來的一個時刻的圖片

2.3 基本模型

2.3.1 GAN(Generative Adversarial Networks)

對抗生成器。

簡單來說，就是有一個生成器，有一個判別器，生成器輸出假的數據，把這個數據和真數據一起輸入到判別器中，判別器沒法判斷哪個是真是假，這是最理想的訓練情況，換句話說，就是生成器生成的數據可以以假亂真了，就到達這個目的了，不知道大家是否了解，可以去看很多資料，講的很nice，如果實在是不懂，可以留言，我寫出來幾篇就差不多了。

最基本的GAN的loss如下：

2.3.2 LSTM(Long Short-Term Memory Networks)

這個就不需要多講了吧，我個人寫了好幾篇LSTM相關了，可以去看看。這個模型中的LSTM輸入為衛星云圖的序列數據，輸出為提取的特征數據，也就是更深層的表現。

LSTM提取序列的一些深層時間特征， 比如云的motion特征

2.4 創新模型GAN-LSTM

主要的模型結構訓練分為兩個步驟

只用真實數據集先去訓練GAN，這里的限制條件是輸入為固定的維度和形式，訓練完成后，把GAN的生成器與判別器分開，再接下來的步驟中生成器的權重是不變的，一直保持訓練好的參數。

用時間序列的衛星圖片輸入到LSTM中，因為圖片太大了，所以通過兩層hidden layers進行減少圖片的維度，應該指的就是下采樣，訓練LSTM輸出與第一步中生成器輸入的相同維度的向量，最終通過LSTM輸出的向量，用固定參數的生成器生成最終的下一個時刻的預測數據。

這里有一個疑問？為什么要分開訓練呢？paper里也解釋了，簡單來說就是GAN主導了model

接下來也對很多GAN進行比較了，畢竟傳統GAN訓練真的很費勁。

三、Experiments

3.1 數據集和參數

利用的是 FY-2E 圖片數據集，大小為552乘以552， 三小時采樣一次。

圖片預處理，為了加快收斂。減小計算量，輸入為灰度圖，并且標準化圖片。

3.2 訓練GAN

紅色為D的訓練部分，紫色為G的訓練部分。

3.3 GAN訓練結果

WGAN在最高迭代次數的時候，慢慢結果顯示出海岸線，學習的效果較好。

3.4 訓練GAN-LSTM

3.4.1 數據劃分

3.4.2 數據整合和選擇

為了學習到evolution特征，我們需要有運動變化的圖片，所以選擇每三個小時的，太近的沒啥區別了。之后我們輸入序列為8，預測未來一幀

3.4.3 總體訓練

注意看標紅的地方大概就清晰了

3.4.4 結果

這邊利用上面的訓練方式 也對 autoencoder進行了類似的訓練。用FCM算法對圖片進行分割，變為黑白圖片，白代表云層，黑代表沒有云，這種圖片稱為CS圖片

3.4.5 評測

我們用CR對結果進行評估

為了更好地來比較模型的性能，我們迭代預測未來的五幀

很明顯由于誤差的疊加和預測的距離的增加，肯定是降低的，但是GAN-LSTM顯示出明顯的優勢，下降也不是很明顯。

四、Conclusions

引入LSTM和GAN的協同合作來解決時空序列問題

利用GAN來進一步提取特征，并且可以把維度降低

LSTM和GAN的分開訓練的想法

點個在看,么么噠！

總結

以上是生活随笔為你收集整理的gan怎么输入一维数据_时空序列预测模型GAN+LSTM的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。