合適的數據集或者語料是優秀的自然語言研究工作的基礎，然而找尋合適的數據集通常是一件耗時耗力的工作。這時候一份優質的數據集匯總就能幫助科研人員，在研究開始的時候事半功倍。這篇文章就向你介紹一份優質的數據集匯總，幫助你的研究工作輕松選擇一片合適的用武之地。

本文主要介紹由我研究中心博士生侯宇泰收集整理的一個任務型對話數據集大全。

圖1. 數據集匯總項目

這份數據集大全涵蓋了到目前在任務型對話領域的所有常用數據集的主要信息。此外，為了幫助研究者更好的把握領域進展的脈絡，我們以Leaderboard的形式給出了幾個數據集上的State-of-the-art實驗結果。

數據集的地址如下：

https://github.com/AtmaHou/Task-Oriented-Dialogue-Dataset-Survey

一．背景介紹：什么是任務型對話?

我們收集的數據集主要針對任務型對話研究（Task-oriented Dialogue）。

任務型對話系統指在特定的情境下幫助用戶完成特定任務的對話服務系統，例如幫助用戶訂餐、訂酒店的對話系統。近年來，隨著亞馬遜Alex，微軟小娜，蘋果Siri等個人語音助理業務的興起，基于對話的人機交互方式得到了廣泛的關注，相關的研究也越來越多，儼然成為一個富有潛力的研究方向。

圖2. 語音助手

目前任務型對話的研究可以大體分為兩類：基于流程的任務型對話（Pipeline）以及端到端的任務型對話（End-to-End）。

基于流程的任務型對話是相對較為傳統的方法。這種任務型對話的系統通過一套Pipeline流程實現。如圖3所示， 任務型對話系統的流程依次包括：自然語言理解、對話狀態跟蹤、對話策略學習，自然語言生成模塊。具體的，用戶輸入自然語言，對話系統按流程依次完成：分析用戶意圖，更新對話狀態，根據對話策略做出動作，生成最終的自然語言回復。

圖3. Pipeline任務型對話

然而，Pipeline流程式的對話系統存在錯誤級聯和標注開銷大的問題，為此最近有一部分研究嘗試通過直接進行端到端的任務型對話學習來規避這些問題。端到端式對話系統根據用戶輸入句子直接給出自然語言回復。

二．為什么要做數據集匯總？

任務型對話任務并不是新課題，但是針對任務型對話的廣泛研究在最近幾年才興起。任務型對話研究的方興未艾反映在數據和語料上，就是目前現有的任務型對話數據集數量少，且其他成熟的任務已有的數據集在數據量上要少的多。 在這種情況下，盡可能多找到并有效的利用已有的數據資源就成為開展研究的關鍵之一。然而，搜羅并全面的尋找合適的數據集是一個費時費力的工作，所以整理統計目前已有的任務型對話領域的數據集的信息是有必要的，可以極大地為相關研究工作提供便利，讓研究工作得以地快速開始。

除了數據本身的信息有價值之外，在重要數據集上的實驗結果提升過程，可以很大程度上反映自然語言研究的前進脈絡。所以，簡單的數據集信息羅列并不能讓我們滿意，我們還計劃提供一些常用數據上的實驗結果和對應論文的信息。從而幫助研究人員了解和把握任務型對話領域研究的推進脈絡。我們選擇以Leaderboard的形式呈現數據集上的部分實驗結果。

三．數據匯總的內容介紹

1．數據集信息

針對每個數據集，我們統計并總結了如下幾個方面的內容。

表1. 數據集內容及說明

內容說明

Name	數據集名稱
Introduction	數據集簡介
Link (Download & Paper)	數據下載鏈接和對應論文的鏈接
Multi or single turn	對話數據是多輪還是單輪
Task	對話數據是否為任務型對話
Task detail	對話數據取自什么應用情景，如訂餐，導航等
Whether Public Accessible	是否可以免費下載
Size & Stats	數據量、標注量統計
Included Label	數據包括的標注類型
Missing Label	數據缺失的標注類型

類似其他常見數據集匯總工作，我們為每個數據集提供了名稱，下載鏈接，簡介，數據量等信息。除了這些基本信息，我們還涵蓋了一些任務型對話數據的特有的研究內容，例如：

• Multi or single turn：對話數據是多輪還是單輪是任務型對話數據的重要屬性，單輪對話數據往往用于自然語言理解任務，多輪對話數據往往用于端到端任務、對話策略學習、對話狀態跟蹤。

• Task detail：數據適用于什么應用情景也是一個獨特的關鍵信息，通過這個信息，研究者可以快速理解數據，開展Multi-domain 或Domain-transfer研究。

2. 實驗結果Leaderboard

對于一些研究常用數據，我們提供了上面的一些State-of-the-art實驗結果，并以Leaderboard的形式呈現，具體包括內容如下：

表2. Leaderboard內容及說明

內容說明

Model	模型的名稱
Score	主要實驗結果，F1分數，準確率等
Paper/Source	模型對應論文的名稱和鏈接

其中我們的模型名稱采用出處論文中的表述，分數的評價指標以具體的任務而定。實驗結果列表配合上論文鏈接，可以讓讀者快速地了解一個任務。

此項信息內容仍在完善中。

四．數據集匯總內容樣例

1. 數據集介紹樣例

數據集的匯總目前以表格的形式，收錄了17個數據的細節信息。讀者可以在github項目中Excel文件或者Readme中直接查看。數據的格式如圖4所示。

圖4. 數據細節樣例

2. Leaderboard 樣例

我們以Leaderboard 的形式展示了語義槽抽取（Slot filling），用戶意圖識別（Intent detection），對話狀態跟蹤（Dialogue state tracking）三個任務上的一些領先結果。具體形式如圖5所示。

圖5. Leaderboard的樣例

五．關于內容補充的邀請

我們歡迎各種形式的內容完善，包括但不限于：

• 直接提交Pull Request

• 向我們發送新數據

• 向我們發送新的實驗結果（已發表論文）

六．其他

數據集匯總地址如下：

https://github.com/AtmaHou/Task-Oriented-Dialogue-Dataset-Survey

總結

以上是生活随笔為你收集整理的最新任务型对话数据集大全的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。