新智元報道，編輯：金磊，元子

　　【新智元導讀】阿里 AI 在常識 QA 領域的權威數據集 CommonsenseQA 上刷新世界紀錄，超過微軟取得第一名，顯著提升 AI 的常識推理能力。而這項技術，是一名叫做葉志秀的 95 后“實習生”，在達摩院科學家指導下完成的實習成果！來新智元和群，一起討論。

　　正所謂長江后浪推前浪，又一個“別人家的孩子多優秀”系列。

　　最近，一個年輕人火了：95 后的實習生在常識 QA領域的權威數據 CommonsenseQA 上刷新了世界紀錄！

　　這位年輕人名叫葉志秀，他的這項工作是在達摩院科學家指導下完成的，并超越了微軟，取得了第一名的好成績。

　　什么是 CommonsenseQA？

　　CommonsenseQA 是為了研究基于常識知識的問答而提出的數據集，比此前的 SWAG、SQuAD 數據集難度更高。目前最流行的語言模型 BERT 在 SWAG、SQuAD 上的性能已經接近或超過人類，但在 CommonsenseQA 上的準確率還遠低于人類。

　　阿里巴巴達摩院語音實驗室提出了 AMS 方法，顯著提升 BERT 模型的常識推理能力。AMS 方法使用與 BERT 相同的模型，僅預訓練 BERT，在不提升模型計算量的情況下，將 CommonsenseQA 數據集上的準確率提升了 5.5%，達到 62.2%。

　　CommonsenseQA 相關論文已在 arXiv 上發表，并獲得NAACL 2019 最佳資源論文。

　　鏈接：

　　https://arxiv.org/pdf/1811.00937.pdf

　　作者：

　　Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant（以色列特拉維夫大學、艾倫人工智能研究所）

　　摘要：

　　人們通常利用豐富的世界知識和特定語境來回答問題。近期研究主要聚焦于基于關聯文檔或語境來回答問題，對基礎知識幾乎沒有要求。為了研究使用先驗知識的問答，我們提出了一個關于常識問答的新型數據集 CommonsenseQA。為了捕捉關聯之外的常識，我們從 ConceptNet (Speer et al.， 2017) 中抽取了多個目標概念，它們與某個源概念具備同樣的語義關系。

　　我們讓眾包工人編寫提及源概念的選擇題，并區分每個目標概念之間的差別。這鼓勵眾包工人編寫具備復雜語義的問題，而問答這類問題通常需要先驗知識。我們通過該步驟創建了 12247 個問題，并用大量強基線模型做實驗，證明該新型數據集是有難度的。我們的最優基線基于 BERT-large (Devlin et al.， 2018)，獲得了 56% 的準確率，低于人類準確率（89%）。

　　下圖是構建 CommonsenseQA 數據集的過程示例：

　　最聰明的 AI 的常識也不如一只貓

　　自然語言理解（NLP，Natural Language Processing）被譽為人工智能皇冠上的明珠，而常識推理是其中難度最高的任務之一。

　　我們所謂的常識，指的是與生俱來、毋須特別學習便已經擁有的判斷能力，或是眾人皆知、無須解釋或加以論證的知識。例如：打雷要下雨（磊歐）；下雨要打傘（嘞奧）。

　　雖然在機器翻譯、閱讀理解等常用 NLP 任務上，AI 的表現已接近人類水平，甚至在某些場景下已經超過人類水平，然而一旦涉及到常識推理方面就成了白癡。比如我們看到行人打著傘就能自然的想到外面可能在下雨；而 AI 可能會分辨出所有傘的種類，卻無法做出“外面在下雨”的推斷。

　　在包含 1.2 萬多個常識問題的 CommonsenseQA 數據集上，現在已經能夠達到 56.7% 的準確率，依然遠低于人類的 89% 準確率。借用圖靈獎獲得者 Yann LeCun 的話，就是“最聰明的 AI 在常識方面都不如一只貓。”

　　但好在，如今這位阿里達摩院 95 后實習生的研究，將 AI 在常識推理方面的能力，向貓的水平推進了一步！

　　或許不久的將來，將會出現可以聽懂人話的“貓”。就像，加菲一樣？👇

總結

以上是生活随笔為你收集整理的95后达摩院实习生击败微软，打破NLP最难任务世界纪录的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。