最近在使用Keras和Pytorch處理時間序列數據，在變長數據的輸入處理上踩了很多坑。一般的通用做法都需要先將一個batch中的所有序列padding到同一長度，然后需要在網絡訓練時屏蔽掉padding的值。在pytorch和keras中都有各自對padding值的處理，簡單做一下總結。

Keras

使用Masking層

Keras中自帶的屏蔽padding值的方式，在網絡結構比較簡單時使用很方便。

model = Sequential() model.add(Masking(mask_value=0., input_shape=(timesteps, features))) model.add(LSTM(32))

缺點是一些層（Conv1D、Global mean pooling或用戶自己實現的層）不支持Masking機制，導致無法compile模型。

2. 添加Masking支持

既然Keras原生的層不支持Masking機制，我們可以重新復現該層，并使其支持Masking。

具體需要繼承keras.layers.Layer類，在實現時設置self.supports_masking =True，并實現并修改compute_mask和compute_output_shape函數，使其支持Mask的傳遞。

具體可以參考https://github.com/CyberZHG/keras-self-attention/blob/master/keras_self_attention/seq_self_attention.py中是如何在Attention中實現Mask支持的

3. 使用keras-trans-mask

無意中發現了這個工具，具體效果沒試過，但是看介紹使用起來還比較方便。

Pytorch

pack sequence

同樣是Pytorch中標準的處理變長輸入的操作，常規步驟是pad_sequence -> pack_padded_sequence -> RNN -> pad_packed_sequence

具體可以參考這個回答，對各個函數解釋的很詳細。

尹相楠：PyTorch 訓練 RNN 時，序列長度不固定怎么辦？?zhuanlan.zhihu.com

然而這種方法存在缺點，即如果我們要對RNN內部的運算進行修改時（如自己實現LSTM或GRU），就沒辦法直接使用pack操作了，這時候就需要用到下面的方法

2. 重新實現AutogradRNN，加入pack支持

類似于Keras，我們同樣可以自定義RNN，使其支持pack_padded_sequence輸入。然而這一操作過于復雜，需要從AutogradRNN開始重構。

根據官方論壇和github上的issue，目前還沒有辦法靈活地自定義RNNCell（似乎自定義的RNNCell訓練慢也與此有關，現在的官方RNN實現和Cudnn耦合程度過高）。

因為這個方法太過復雜，所以我并沒有仔細研究，有興趣的可以自己參考下面代碼實現。

https://github.com/huggingface/torchMoji/blob/master/torchmoji/lstm.py?github.com

通用方法

按長度劃分Batch

既然問題出在同一個batch中序列長度不一致，那么按照序列長度劃分batch就沒有這一問題了。然而這一方法存在一些缺點/隱患：

• batch大小不一致，一些batch中樣本過少，導致訓練很慢
• 劃分訓練集/驗證集很麻煩，尤其是K折交叉驗證
• 可能會導致batch之間樣本分布不一致，會產生performance上的微妙影響

最后一條我也不是特別確定，只不過在實驗時發現了可能會出現這一問題，歡迎大佬解釋。

2. 手動屏蔽loss

無論是Masking層還是Pack sequence，本質上都是防止padding操作產生錯誤的梯度影響網絡訓練，那么我們只需在計算損失函數時將padding對應的timestep輸出和target均置0即可。

個人理解pytorch中的pack sequence操作只是為了提升計算效率，真正屏蔽padding仍然需要在最后計算損失函數時將對應的timestep梯度置0。

以上就是對Keras和Pytorch中處理RNN變長序列輸入的方法總結，希望能對他人有所幫助。如果有哪些地方我的理解有誤，請及時糾正。

總結

以上是生活随笔為你收集整理的evaluate函数使用无效_使用Keras和Pytorch处理RNN变长序列输入的方法总结的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。