本文將回顧平安人壽近期在 PaperWeekly 直播間進行的主題為「DSTC 8“基于 Schema 的對話狀態(tài)追蹤”競賽冠軍方案解讀」的技術(shù)分享，由平安人壽 AI 團隊高級算法工程師馬躍老師主講。

在 2019 年第八屆對話系統(tǒng)挑戰(zhàn)賽（DSTC 8）中，平安人壽 AI 團隊斬獲包括 “Track4：基于 Schema 的對話狀態(tài)追蹤”在內(nèi)的三項賽事世界第一，并受邀在 AAAI 2020 workshop 發(fā)表論文。

在該賽事中，平安人壽 AI 團隊提出了一個對話狀態(tài)追蹤框架 PA-DST，基于閱讀理解模型和 Wide & Deep 模型、綜合深度語義特征、特征工程和數(shù)據(jù)增強等技術(shù)，完成多領(lǐng)域的對話狀態(tài)追蹤。

本期直播視頻回放：

https://www.bilibili.com/video/BV1ha4y1Y7x1

?

以下是該方案的技術(shù)細節(jié)詳解。

比賽介紹

?

對話系統(tǒng)挑戰(zhàn)賽 DSTC 由微軟、卡內(nèi)基梅隆大學(xué)的科學(xué)家于 2013 年發(fā)起，旨在帶動學(xué)術(shù)與工業(yè)界在對話技術(shù)上的提升，在對話領(lǐng)域具有極高的權(quán)威性和知名度，迄今已舉辦了 8 屆。比賽結(jié)合時下最前沿、最具挑戰(zhàn)性的對話系統(tǒng)技術(shù)問題設(shè)置比賽任務(wù)，本屆比賽吸引了全球超百支來自知名企業(yè)、頂尖大學(xué)及研究機構(gòu)的代表隊伍參與。

▲?圖1 :?平安人壽AI團隊斬獲DSTC 8?Track4賽事冠軍

?

平安人壽 AI 團隊在 DSTC 8 中斬獲“基于 Schema 的對話狀態(tài)追蹤”、“端到端的問答預(yù)測”以及“面向多領(lǐng)域端到端對話系統(tǒng)”三項賽事世界第一。

本次分享賽題為“基于 Schema 的對話狀態(tài)追蹤”，該賽題任務(wù)為跨領(lǐng)域的多輪對話狀態(tài)追蹤，包括對 Zero-shot 領(lǐng)域的對話追蹤任務(wù)。為此，團隊創(chuàng)新性提出了端到端對話狀態(tài)追蹤框架，融合學(xué)術(shù)前沿深度模型和工業(yè)的特征工程來解決對話狀態(tài)追蹤問題。

?

1.1 背景簡介

對話狀態(tài)追蹤（Dialogue State Tracking, DST）是人機對話領(lǐng)域的一個重要問題，其目的是識別當前時刻用戶的對話狀態(tài)（意圖和槽位填充信息），其結(jié)果作為對話系統(tǒng)的動作生成依據(jù)。當前 DST 的核心難點在于跨領(lǐng)域的狀態(tài)繼承和 Zero-shot 領(lǐng)域的 DST 任務(wù)。此次 DSTC 8 “基于 Schema 的對話狀態(tài)追蹤”任務(wù)也是基于此背景提出。

?

1.2 任務(wù)介紹

本次任務(wù)圍繞多領(lǐng)域人機交互的 DST 進行，提出的模型需要對每一個用戶輪次的用戶狀態(tài)進行預(yù)測，準確識別領(lǐng)域中每個槽位填充的具體信息。該任務(wù)對每一個領(lǐng)域服務(wù)均給出了一個 Schema，通過這個 Schema 完成意圖和槽位的定義。以 Travel 為例，具體定義如下：

a）領(lǐng)域描述：一句自然語言描述當前領(lǐng)域，如 The biggest database of tourist attractions and points of interest

b）意圖集合，以 FindAttractions 意圖為例，有：

• 意圖名稱：FindAttractions

• 意圖描述：一句自然語言描述當前意圖，如：Browse attractions in a given city

• 必須填充的槽位集合：完成這個意圖必須填充的槽位

• 可選槽位集合：非必須填充槽位

c）槽位集合，對于每一個槽位，有以下信息：

• 槽位名稱，如 number_of_person

• 槽位描述：一句自然語言描述當前槽位，如：Number of people to find tickets for

• 是否可枚舉：不可枚舉槽位的取值為對話上下文的片段；可枚舉槽位的取值只能為 Possible_values 中的一個

• Possible_values：如果為可枚舉槽，則有一個預(yù)定義好的槽值集合，如 [1,2,3,..,9]；如果為不可枚舉槽，則無該字段。

通過上述的信息，完成了對服務(wù)的定義。在每一個用戶的輪次，模型在指定的領(lǐng)域內(nèi)，需要預(yù)測的具體內(nèi)容如下：

• 已知的所有必須填充槽位的槽值

• 如果為不可枚舉槽位，且槽值位于當前用戶的表達內(nèi)容中，還需要給出槽值在用戶表達中的具體起止位置信息

?

1.3 比賽挑戰(zhàn)

本次任務(wù)的難度較大，一方面，多領(lǐng)域人機對話中，不同領(lǐng)域的槽位是有繼承性的，如地點槽位（如：機票預(yù)訂的目的地和賓館的城市）；另一方面，需要考慮對 Zero-shot 服務(wù)的遷移性，在測試中，會出現(xiàn)大量全新的領(lǐng)域，他們在訓(xùn)練集中沒有對應(yīng)的訓(xùn)練數(shù)據(jù)。

綜合這兩個方面，模型需要擺脫傳統(tǒng) DST 中所有槽位都是預(yù)設(shè)好的限制，從繼承性和遷移性兩個方面進行全新設(shè)計。

?

解決方案介紹

2.1 可枚舉槽位 vs. 不可枚舉槽位

對于可枚舉槽位，因為它是使用了原文的一個對話片段來作為槽值，并且在數(shù)據(jù)中能夠直接獲取當前槽值在原文中的位置信息，我們使用了閱讀理解的模型（MRC-DST）來解決這類問題。

?

對于不可枚舉槽位，由于它的槽值不是原文中的一個直接片段，而是需要經(jīng)過語義理解和歸一化得到，因此無法使用閱讀理解模型來解決。針對這類槽位，我們使用分類模型來進行建模，利用大規(guī)模預(yù)訓(xùn)練模型來建立深度語義表示，同時，利用規(guī)則、正則之類的輔助方法抽取出語義離散特征。

綜合深度和離散兩類特征，建立了一個 Wide & Deep 的分類模型（WD-DST）來解決這類槽位的追蹤問題。

?

整體建模思路如圖2。

?

▲ 圖2 :?整體結(jié)構(gòu)

?

2.2 MRC-DST

模型結(jié)構(gòu)如圖3所示。

▲ 圖3 :?MRC-DST模型結(jié)構(gòu)，包括兩部分輸入，對話歷史上下文信息和問題（槽位描述）

?

模型的輸入包括兩部分：

?

第一部分為整個對話的上下文信息，對于不同角色的表達，我們使用了 User 和 System 標簽來區(qū)分，分別加在每個角色表達的內(nèi)容頭部，再進行拼接，得到整個對話歷史 S；

?

第二部分為需要預(yù)測的槽位的描述 D，即 Schema 中提供的槽位自然語言描述。因為在開發(fā)集、測試集中，會存在一些 Zero-shot 的領(lǐng)域和槽位，如果只使用槽位名字來作為輸入，那么整個模型的通用能力就會下降，因為可以互相繼承的槽位他們?nèi)∶g的關(guān)聯(lián)性并不大。

例如在機票預(yù)訂服務(wù)中，關(guān)于人數(shù)的槽位被命名為 number_of_ticket，而在火車票預(yù)訂中，表示人數(shù)的槽位則被命名為 number_of_seat，只有通過更加詳細的解釋，才能夠確定他們是表達同一個意思的槽位，在多領(lǐng)域交叉進行交互的時候，才能被繼承。

在一般的 MRC 解決方案中，輸入的問題常常是問句形式存在的，但在狀態(tài)追蹤任務(wù)上，我們使用了槽位的描述來替代傳統(tǒng) MRC 中的“問題”，省去了構(gòu)造傳統(tǒng)問題的步驟。

參考 BERT-like 模型的拼接方式，得到最終的輸入 （注：XLNet 的輸入中 位于末端）。模型的輸出包括兩部分：

第一部分為 Answerable Indicator（槽值存在指示器），其功能是指示當前計算的槽位，是否能在上下文中找到答案片段。因為在交互過程中，并不是每個槽位都會被提及，因此需要設(shè)置一個答案指示器 ，來篩選出能夠找到槽值的槽位。

第二部分包括一個答案起止位置向量 和結(jié)束位置向量 。如果 Answerable Indicator 指示當前槽位有答案，則進行該部分計算。在兩個向量中，找到概率最大的起止位置，從輸入的對話歷史中截取對應(yīng)的文本片段作為最終的槽值。

模型的計算過程如下：

模型基于 XLNet 得到的深度語義表示，計算槽值存在指示器和起止位置向量。假設(shè)真實的槽值存在性為 ，真實答案片段的起止位置向量為為 和 。使用兩個部分中三個 Loss 共同指導(dǎo)模型訓(xùn)練：

?

2.3 WD-DST

模型結(jié)構(gòu)如圖4所示

▲ 圖4 : WD-DST模型結(jié)構(gòu)，包括三部分輸入，對話歷史上下文信息、問題（槽位描述）與需要判斷的槽值、離散特征

?

模型包括三部分輸入，第一部分和 MRC-DST 一致；第二部分與 MRC-DST 的輸入有一些差別。在這里除了使用槽位描述之外，還會對拼接上當前需要判斷的槽值；

第三部分為抽取到的離散特征，在這里我們抽取了包括槽值是否在對話歷史中、槽值的同義片段是否在歷史中、用戶表達的語氣、用戶是否表疑問等一系列統(tǒng)計特征來刻畫對話歷史。

模型的目標是判斷當前輸入的槽值，是否正確。最上層使用了一個全連接神經(jīng)網(wǎng)絡(luò)來計算最終的得分。面對一個槽位的多個候選值，我們選取得分最高的一個作為最終槽值。整個模型使用真實的槽值標簽與輸出計算誤差進行訓(xùn)練，具體的計算過程如下：

2.4 數(shù)據(jù)增強

一個值得一提的小技巧是數(shù)據(jù)增強，我們使用了業(yè)界的翻譯 API 和文本 API，對可枚舉槽位的槽值內(nèi)容進行了同義拓展，從而提升了模型和特征工程的泛化性。

例如“演出活動”服務(wù)中的“類型”槽位，某一個取值為 Theater，通過數(shù)據(jù)增強，可以得到如 Drama、Broadway、The stage 等同義表達，只要同義片段被判定為最終答案，即等價于 Theater 為最終答案。

?

2.5 模型拓展與思考

在實驗的過程中，我們也發(fā)現(xiàn)了一些有意思的點，這里也列舉出來供參考：

• 當決策性信息處于上下文末端時（一般為用戶表達的最后一句話提及了槽值信息），MRC 和分類模型都容易預(yù)測錯誤。針對這個現(xiàn)象，我們直接將用戶表達的最后一句話復(fù)制并拼接在末端的方法來解決，相當于直接把上下文有效內(nèi)容前置。

• 數(shù)據(jù)預(yù)處理中，我們使用統(tǒng)一的標簽來替換具有干擾性的信息，如電話號碼。

• 同一個模型，不同次 Fine-tuning，他們的錯誤 case 不同。針對這個問題，使用最簡單的 Ensemble 想法來解決，使用多個模型投票的策略來確定最終槽值。

?

應(yīng)用價值

?

基于壽險業(yè)務(wù)場景需求，平安人壽 AI 團隊重點攻關(guān)對話式機器人技術(shù)。目前，對話式機器人作為平安人壽智能轉(zhuǎn)型的利器之一，在客戶服務(wù)和代理人賦能兩大業(yè)務(wù)體系中已大規(guī)模落地，覆蓋招聘、培訓(xùn)、銷售支持、客服等業(yè)務(wù)場景，并將持續(xù)發(fā)揮價值。

?

平安人壽 AI 團隊此次參賽所應(yīng)用到的創(chuàng)新技術(shù)，在實際業(yè)務(wù)場景中，可支持多領(lǐng)域的客服系統(tǒng)、人機對話平臺的對話管理等技術(shù)應(yīng)用，對搭建壽險垂直領(lǐng)域的對話系統(tǒng)起到重要推動作用，能大幅提升對話式機器人的響應(yīng)效率和服務(wù)體驗。

?

參考文獻

[1] Gao et al. "Dialog state tracking: A neural reading comprehension approach." arXiv 2019.

[2] Wu et al. "Transferable Multi-Domain State Generator for Task-Oriented Dialogue Systems" ACL 2019.

[3] Chao and Lane, "BERT-DST: Scalable End-to-End Dialogue State Tracking with Bidirectional Encoder Representations from Transformer", INTERSPEECH 2019.

[4] Cheng et al. "Wide & deep learning for recommender systems", Proceedings of the 1st workshop on deep learning for recommender systems. 2016.

[5] Rastogi et al. "Towards scalable multi-domain conversational agents: The schema-guided dialogue dataset." arXiv 2019.

[6] Zhang et al. "Find or classify? dual strategy for slot-value predictions on multi-domain dialog state tracking." arXiv 2019.

[7] Ma et al. "An end-to-end dialogue state tracking system with machine reading comprehension and wide & deep classification." AAAI 2020 DSCT 8 Workshop.

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創(chuàng)作品，來稿需注明作者個人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請在投稿時提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認每篇文章都是首發(fā)，均會添加“原創(chuàng)”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發(fā)送?

? 請留下即時聯(lián)系方式（微信或手機），以便我們在編輯發(fā)布時和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的实录 | DSTC 8“基于Schema的对话状态追踪”竞赛冠军方案解读的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。