文章目錄

• 1 引言
• 2 本文模型
• • 2.1 Seq2Seq 注意力模型
  • 2.2 指針生成網(wǎng)絡(luò)
  • 2.3 覆蓋機制（Coverage mechanism）

【Reference】
1. Get To The Point: Summarization with Pointer-Generator Networks

---

seq2seq模型可用于文本摘要（并非簡單地選擇、重排原始文本的段落），然后這些模型有兩個缺點：不易關(guān)注真實細節(jié)，以及傾向于生成重復(fù)文本。

本文提出一種新穎的架構(gòu)：使用兩種方式增強標準的seq2seq注意力模型。第一，使用混合指針生成網(wǎng)絡(luò)，利用指針從原文精確地復(fù)制單詞，同時保留生成器產(chǎn)生新單詞的能力。第二，使用覆蓋機制跟蹤哪些單詞已經(jīng)被摘取，避免生成重復(fù)文本。

1 引言

文本摘要任務(wù)旨在輸出僅包含原文主要信息的壓縮文本，大致具有兩種方法：抽取式和摘要式。抽取式方法直接抽取段落原文，而摘要式方法可能生成一些原文中并非出現(xiàn)的單詞或短語，類似于人類寫的摘要。

抽取式方法相對容易，因為直接抽取原文大段文本，可保證語法和準確性。從另一個角度來說，模型的經(jīng)驗?zāi)芰τ谏筛哔|(zhì)量摘要至關(guān)重要，如改寫、總結(jié)，以及結(jié)合現(xiàn)實世界知識，僅摘要式框架具備這種可能性。

摘要式總結(jié)較為困難，先前模型大多采用抽取式，最近提出的seq2seq模型使得摘要式總結(jié)成為可能。盡管seq2seq模型具備很大潛力，但它們也暴露了一些不良行為，如無法準確復(fù)制真實細節(jié)、無法處理OOV問題，以及傾向于自我重復(fù)。

本文提出一種網(wǎng)絡(luò)結(jié)構(gòu)，在多句上下文總結(jié)中解決以上三個問題。最近的摘要式模型主要關(guān)注與標題生成（將一兩句話縮減至單一標題），我們相信長文本摘要挑戰(zhàn)與實用性并存，本文使用CNN/Daily Mail數(shù)據(jù)集，其包含新聞文章（平均39句）和多句摘要，結(jié)果顯示，本文提出的模型高于SOTA模型2個ROUGE點。

本文的混合指針生成模型通過指針從原文中復(fù)制單詞，文本生成準確性提高，并解決了OOV問題，同時保留生成原文中未出現(xiàn)的新單詞的能力，該網(wǎng)絡(luò)可視為摘要方法和抽取方法之間的平衡，類似于應(yīng)用于短文本摘要的 CopyNet 和 Forced-Attention Sentence Compression 模型。我們提出一種新型的覆蓋向量（源于NMT，可用于跟蹤和控制原文的覆蓋率），結(jié)果表明，覆蓋機制對于消除重復(fù)性非常有效。

2 本文模型

2.1 Seq2Seq 注意力模型

本文基線模型類似于圖2中的模型：

文中各token依次輸入至單層BiLSTM，網(wǎng)絡(luò)輸出編碼器隱狀態(tài)序列$h_i$，在時間步$t$，解碼器（單層單向LSTM）接收到先前單詞的詞向量（訓練階段為參考摘要的前一個單詞，測試階段為解碼器上一時刻輸出的單詞），輸出隱狀態(tài)$s_t$。

基于Bahdanau et al.(2015)注意力機制，計算注意力分布：

式中，$v,W_h,W_s,b_{\text{attn}}$為可學習的參數(shù)。注意力分布可看作為源單詞的概率分布，告訴解碼器應(yīng)關(guān)注哪些單詞生成下一個單詞。接著，使用注意力機制加權(quán)編碼器隱狀態(tài)，輸出上下文向量$h_t^{?}$:

上下文向量可看作為固定維度的、當前時間步從源中讀取的內(nèi)容，將其與解碼器隱狀態(tài)$s_t$拼接，輸入至兩層線性網(wǎng)絡(luò)，產(chǎn)生詞典概率分布$P_{\text{vocab}}$：

式中，$V,V^{\prime },b,b^{\prime }$為可學習參數(shù)。$P_{\text{vocab}}$為詞典中所有單詞的概率分布，告知我們預(yù)測單詞$w$的最終概率分布：

訓練階段，時間步$t$的損失為目標單詞$w_t^{?}$的負對數(shù)似然：

整個序列的全部損失為

2.2 指針生成網(wǎng)絡(luò)

本文模型為基線模型seq2seq和指針網(wǎng)絡(luò)的混合，其允許通過指針復(fù)制單詞，以及從固定大小的詞典中生成單詞。在圖三所示的指針生成網(wǎng)絡(luò)中，注意力分布$a^t$和上下文向量$h_t^{?}$可以利用2.1章節(jié)所述公式計算。

此外，時間步利用上下文向量$h_t^{?}$，解碼器隱狀態(tài)$s_t$，解碼器輸入$x_t$計算生成概率分布：

式中，向量$w_{h^{?}},w_s,w_x$和變量$b_{\text{ptr}}$為可學習參數(shù)，$\sigma$為sigmoid函數(shù)。$p_{\text{gen}}$可看作為軟開關(guān)，用于選擇是利用$P_{\text{vocab}}$從詞表中抽取單詞，還是利用注意力分布$a_t$從輸入句抽取單詞。

對于每一篇文檔，將原文中所有出現(xiàn)的單詞和詞典結(jié)合為擴充詞典，獲得在擴展詞典上的概率分布：

注意到，如果$w$不存在與詞典中，則$P_{\text{vocab}}(w)=0$；類似地，如果$w$不存在于原文中，則${\sum }_{i:w_i=w}{a}_i^t=0$。產(chǎn)生OOV單詞的能力是指針網(wǎng)絡(luò)的主要優(yōu)勢之一，而我們的基線模型產(chǎn)生單詞的數(shù)量局限于預(yù)設(shè)置的詞典。損失函數(shù)如公式(6)和(7)所示，但我們修改為公式(9)所示的概率分布$P(w)$。

2.3 覆蓋機制（Coverage mechanism）

重復(fù)是seq2seq模型的常見問題，在生成多句時尤其明顯（如圖1所示），我們采用覆蓋機制解決這個問題。覆蓋機制模型中，我們維持之前所有解碼步的注意力分布之和作為覆蓋向量${\mathbf{c}}_{\mathbf{t}}$：

直觀上，${\mathbf{c}}_{\mathbf{t}}$為原文單詞上的分布（未歸一化），表示這些單詞到目前為止從注意力機制中所獲得的覆蓋度。注意到，${\mathbf{c}}^0$為零向量，因為初始時刻源文中沒有任何單詞被覆蓋。

覆蓋向量作為注意力機制的額外輸入，將公式(1)改為

式中，$w_c$是與$v$具有相同長度的可學習向量。覆蓋機制使得注意力機制的當前決策受其先前決策（$c_t$之和）影響，因此應(yīng)該更易避免注意力機制關(guān)注相同位置，從而避免生成重復(fù)文本。

我們發(fā)現(xiàn)，額外定義覆蓋損失懲罰重復(fù)關(guān)注相同位置是必要的，覆蓋損失

覆蓋損失有界：${\text{covloss}}_t\le {\sum }_i{a}_i^t=1$，公式(12)中的覆蓋損失有別于機器翻譯中的覆蓋損失。MT中，假定翻譯率大致為1:1，如果覆蓋向量大于或小于1，其將作為懲罰向量。本文損失函數(shù)比較靈活，因為摘要不需要一致覆蓋率，本文僅懲罰注意力機制與到目前為止的覆蓋向量之間的重疊部分，防止重復(fù)關(guān)注。

最終，使用超參數(shù)$\lambda$加權(quán)覆蓋損失至先前損失，產(chǎn)生新的合成損失：

總結(jié)

以上是生活随笔為你收集整理的PGN: 指针生成网络（Get To The Point: Summarization with Pointer-Generator Networks）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。