鏈接: https://openreview.net/forum?id=Bkx0RjA9tX

傳統(tǒng)的機器閱讀理解的模型都是給定 context 和 question, 找出最有可能回答該 question 的 answer，用概率表示為 p(a|q,c)，這其實是一個判別模型。判別模型在大多數(shù)任務(wù)上可以取得比生成模型更好的準(zhǔn)確率，但問題在于判別模型會利用一切能提升準(zhǔn)確率的數(shù)據(jù)特征來做預(yù)測，這在機器閱讀中會造成模型并未完全理解question和context，而是利用訓(xùn)練集中的一些數(shù)據(jù)漏洞來預(yù)測。如下圖所示，模型只需要question中有下劃線的詞即可預(yù)測出正確答案，無須完全理解問題。在 SQuAD 中另一個典型的情況是：問題的疑問詞是when或者who，而context中只有一個日期或者人名，這時模型只需要根據(jù)question的疑問詞，context中的日期或人名即可回答問題，不用完全理解 question和context。

因此，本文的作者提出基于生成模型架構(gòu)的機器閱讀模型，其優(yōu)化的目標(biāo)是：給定context，最大化question和answer的聯(lián)合概率，用概率表示為p(a,q|c)。該概率可以分解為p(a|c)p(q|a,c)。對于這兩部分，分別訓(xùn)練兩個模型，最后在預(yù)測時，遍歷所有候選的answer選出最大化聯(lián)合概率p(a,q|c)的answer作為預(yù)測結(jié)果。

首先訓(xùn)練p(a|c)部分，即給定context，選出最有可能出現(xiàn)的候選的answer。根據(jù)context的不同，采用不同的方式。

（1）??如果context是文檔，例如SQuAD數(shù)據(jù)集，那么用ELMo得到context的表示后，該表示經(jīng)過全連接層映射得到一個score（記為），該score在和候選answer的長度指標(biāo)()，這兩個score按如下公式得到每個候選answer的概率

（2）??如果context是圖片，例如CLEVR數(shù)據(jù)集，那么在預(yù)訓(xùn)練的RESNet上fine tuning得到圖片的表示，對所有候選answer分類得到每個answer出現(xiàn)的概率。

其次是p(q|a,c)部分，本文將其看做是文本生成問題，即采用Encoder-Decoder架構(gòu)，根據(jù)answer, context的encoding結(jié)果，采用decoder生成question。模型采用的Decoder的架構(gòu)為：

其主要包含一個循環(huán)N詞的decoder block，每個block內(nèi)部t時刻生成的詞的embedding會先經(jīng)過self-attention和attention計算，得到的結(jié)果再經(jīng)過一個LSTM單元，如此重復(fù)N次并最終依存t+1時刻的詞。為了解決稀疏詞的問題，在預(yù)測每個詞被生成的概率時采用了character級別的embedding和pointer-generator機制。

到這里模型已經(jīng)介紹完畢。但是論文中提到了按照上述目標(biāo)函數(shù)和模型結(jié)構(gòu)訓(xùn)練完后，還有一個fine-tuning的步驟，這一步的目標(biāo)是通過人為構(gòu)造question和answer的負(fù)組合，來強化模型生成question時和answer的關(guān)聯(lián)。Fine-tuning的目標(biāo)函數(shù)是最小化如下式子：

其中A是由p(a|c)選出的在當(dāng)前context下最有可能的top k個候選answer。

模型的實驗結(jié)果如下所示，在SQuAD和CLEVR上都取得了僅次于當(dāng)前state-of-the-art的判別式機器閱讀模型的效果：

可以看到生成模型的效果要比效果最好的判別模型略差，但是本文的論點在于生成模型對question和context有更全面的理解，從而讓模型有更好的泛化能力和應(yīng)對對抗樣本的能力。為了驗證模型的泛化能力，本文作者構(gòu)建了一個SQuAD的子集，該子集中訓(xùn)練樣本中的context都只包含一個日期，數(shù)字或者人名類實體，但是在測試樣本中有多個。如果模型在訓(xùn)練時僅依賴context中特殊類型的實體作為答案的數(shù)據(jù)特征，那么在測試集上就會表現(xiàn)很差。

可以看到在該數(shù)據(jù)集上生成模型有很大的優(yōu)勢。

在包含對抗樣本的數(shù)據(jù)集Adversarial SQuAD上的表現(xiàn)也好過判別模型。

?

論文筆記整理：王梁，浙江大學(xué)碩士，研究方向為知識圖譜，自然語言處理。

---

OpenKG.CN

中文開放知識圖譜（簡稱OpenKG.CN）旨在促進(jìn)中文知識圖譜數(shù)據(jù)的開放與互聯(lián)，促進(jìn)知識圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

點擊閱讀原文，進(jìn)入 OpenKG 博客。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | Generative QA: Learning to Answer the Whole Question的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。