前言

文本生成，旨在利用NLP技術(shù)，根據(jù)給定信息產(chǎn)生特定目標(biāo)的文本序列，應(yīng)用場景眾多，并可以通過調(diào)整語料讓相似的模型框架適應(yīng)不同應(yīng)用場景。本文重點(diǎn)圍繞Encoder-Decoder結(jié)構(gòu)，列舉一些以文本摘要生成或QA系統(tǒng)文本生成為實(shí)驗(yàn)場景的技術(shù)進(jìn)展。

Seq2seq框架

2014年NLP界有兩份重要的成果，Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation和Sequence to Sequence Learning with Neural Networks。雖然在Decoder的輸入上有差別，但結(jié)構(gòu)上兩者都將Encoder-Decoder結(jié)構(gòu)應(yīng)用在翻譯場景中，并由此開始，seq2seq框架在機(jī)器翻譯，對話生成等領(lǐng)域中占據(jù)重要位置。另外，前者首次提出GRU結(jié)構(gòu)，后者采用Beam Search改善預(yù)測結(jié)果，這些都成為如今seq2seq框架的基礎(chǔ)技術(shù)元素。

隨后，Bahdanau在Neural Machine Translation by Jointly Learning to Align and Translate中提出了融合attention和seq2seq結(jié)構(gòu)的NMT模型結(jié)構(gòu)，至此，由Encoder-Attention-Decoder組成的seq2seq框架正式形成。

總結(jié)

以上是生活随笔為你收集整理的深度学习核心技术精讲100篇（四十二）-Seq2seq框架下的文本生成的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。