論文標題：

Few-shot Natural Language Generation for Task-Oriented Dialog

論文作者：

Baolin Peng, Chenguang Zhu, Chunyuan Li, Xiujun Li, Jinchao Li, Michael Zeng, Jianfeng Gao

論文鏈接：

https://arxiv.org/abs/2002.12328

項目鏈接：

https://aka.ms/scgpt

---

在任務導向型對話中，由于具體領域數據的缺乏，其生成質量長期以來都不夠好。

本文首次在少樣本（few-shot）場景下的任務導向型對話上，使用預訓練提高所生成回復的流暢度與準確度，在自動測評和人工測評上大幅超越之前的模型。

任務導向型對話

現實生活中的對話有相當一部分都是“任務導向”的，即對話都指向一個明確的目的。

比如，用戶說“洛杉磯飛往北京的機票還有嗎？”，這句話的潛在意圖就是機票(出發地：洛杉磯，到達地：北京)，對于對話系統來說，它就要首先識別這個意圖，然后再給出相應的回復，如“目前還有從洛杉磯到北京的機票，請問您需要訂何時的機票？”

這個過程可以用下圖來表示：

首先，系統理解用戶的意圖，然后得到“槽-值”(slot-value)對，比如上面的“出發地：洛杉磯”和“到達地：北京”，最后根據意圖和槽-值對生成回復。

然而，目前的任務導向型對話要么依賴于固定的模板，要么只能在有限標注數據上訓練，都不能得到很好的效果。

那么，能不能用當前流行的預訓練方法去提高生成回復的質量呢？當然可以！因為無標注語料本身就內含豐富的語義，在它們之上預訓練自然就可以提高生成的質量。

但是，和其他的預訓練有所不同的是，任務導向型的對話往往特別依賴具體的領域，領域之間的差別會導致生成回復之間也會存在巨大的差異。

為了能夠進一步實現基于領域的生成，我們還要賦予模型“識別領域”的能力，這就需要依賴標注的語料了。

在無標注和有標注的語料上訓練后，最后，只需要在特定領域的少樣本數據集上微調，就可以把模型運用到該領域的任務型對話中了。整個過程非常簡單，但能夠在流暢度和準確度上都大幅超越之前的模型，具有相當的可用性。

值得一提的是，本文的作者還搭建了一個簡易的Demo，如下圖所示：

用戶輸入意圖（及一些可選的槽-值對），系統就可以自動生成各種可能的回復。可以看到，生成的文本非常流暢，并且也貼近我們輸入的意圖，可見其實際效果是相當不錯的。

預訓練＋預訓練＋微調＝更好的回復

本文提出的方法可以歸納為三個步驟：預訓練，預訓練和微調。

• 預訓練1：首先在大規模的無標注文本上預訓練。這一步和GPT-2一致。

• 預訓練2：為了讓生成的文本更貼近任務導向型對話的要求，模型還進一步在標注的數據集上預訓練。這里的數據來自Schema-Guided Dialogcorpus, MultiWOZ corpus, Frame corpus和Facebook Multilingual Dialog Corpus，這些都是人工標注好的人物對話型數據集，來自各個領域，共計約400K個樣本。

• 微調：最后，只需要在特定領域的少樣本數據集下微調即可。

模型示意圖如下。簡單來說，就是給定意圖和一些槽-值對，模型據此輸出回復。

實驗

我們的目標是要提高少樣本、特定領域下的生成回復質量，為此，我們在本文創建的一個少樣本基準數據集FEWSHOTWOZ上實驗。

該數據集包含7個領域的數據，每個領域只有50條用于訓練，其他的都用作測試。

下表是本文模型（SC-GPT）和兩個基線模型（SC-LSTM、GPT-2）的實驗結果：

可以看到，在所有7個領域，SC-GPT生成的文本既更流暢（BLEU更大），而且也更準確（ERR更小），超越幅度也非常大。

那么人類測評又如何呢？下表是人工測評三個模型的表現。

可以看到，就信息度（Informativeness）和自然度（Naturalness）而言，SC-GPT都比兩個基線模型更好，雖然和人類表現相比仍有差距，但注意到這是在少樣本下的設置，在大樣本的情況下，二者幾乎不存在差距。

下面是三個領域的例子，和reference相比，SC-GPT已經非常接近了，而其他模型或多或少都具有一些問題。

比如，綠色代表多余內容，紅色代表錯誤內容，紫色代表丟失的內容。

小結

本文提出了一種簡單有效的“預訓練-預訓練-微調”模型，用于提高任務導向型對話的生成流暢度與準確度。

首先在無標注文本上預訓練，然后在標注數據上預訓練，最后在特定領域的數據上微調，極大地提高所生成回復的質量。

此外，本文還構建了一個少樣本基準數據集FEWSHOTWOZ，用于評估少樣本下任務導向型對話模型的效果。

最后，本文作者也發布了一個可用的在線Demo，用于展現模型效果，讀者可以前往項目地址（https://aka.ms/scgpt）自行探索。

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的预训练依旧强大：少样本条件下的任务导向型对话生成的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。