dropout 是 regularization 方法，在rnn中使用方法不同于cnn

對于rnn的部分不進行dropout，也就是說從t-1時候的狀態傳遞到t時刻進行計算時，這個中間不進行memory的dropout；僅在同一個t時刻中，多層cell之間傳遞信息的時候進行dropout。

?

if is_training and config.keep_prob < 1:lstm_cell = tf.nn.rnn_cell.DropoutWrapper(lstm_cell, output_keep_prob=config.keep_prob)

因此，我們在代碼中定義完cell之后，在cell外部包裹上dropout，這個類叫DropoutWrapper，這樣我們的cell就有了dropout功能！

?

可以從官方文檔中看到，它有input_keep_prob和output_keep_prob，也就是說裹上這個DropoutWrapper之 后，如果我希望是input傳入這個cell時dropout掉一部分input信息的話，就設置input_keep_prob，那么傳入到cell的 就是部分input；如果我希望這個cell的output只部分作為下一層cell的input的話，就定義output_keep_prob。不要太方便。

?

參考資料

recurrent neural network regularization

?

轉載于:https://www.cnblogs.com/yanshw/p/10516384.html

總結

以上是生活随笔為你收集整理的循环神经网络-Dropout的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。