筆記整理：陳卓，浙江大學(xué)在讀博士，主要研究方向?yàn)榈唾Y源學(xué)習(xí)和知識(shí)圖譜

論文鏈接：https://www.aaai.org/AAAI21Papers/AAAI-10252.BianN.pdf

發(fā)表會(huì)議：AAAI 2021

動(dòng)機(jī)

文章提出了對(duì)于未來(lái)CQA(Commonsense QA)問(wèn)題的三個(gè)見(jiàn)解，首先其對(duì)于文本應(yīng)該是比較敏感的，需要對(duì)于不同的知識(shí)選擇不同的文本，然后要能夠利用上異構(gòu)的知識(shí)信息，同時(shí)它要使用到具有豐富常識(shí)知識(shí)的語(yǔ)言模型。此外，本文提出了3個(gè)未來(lái)的發(fā)展方向，然后在文章里提出了4個(gè)見(jiàn)解和挑戰(zhàn)：

1.基于GNN的網(wǎng)絡(luò)，很難把這些所有的有效的外部知識(shí)給利用上。2.這些外部知識(shí)應(yīng)該用一種比較簡(jiǎn)單的方法注入到不同的模型里面，并且這種方法不應(yīng)該是一些模型特定的方法，所以作者就后面提出了把知識(shí)轉(zhuǎn)化成文本的形式。3.知識(shí)主要是三元組的形式存在，但是問(wèn)題和答案是文本的形式，這存在一種模式上的一個(gè)gap。4.一個(gè)知識(shí)庫(kù)里面有很多個(gè)這樣的三元組，但是往往只有數(shù)個(gè)是跟某一個(gè)問(wèn)題相關(guān)，這是一種稀疏性問(wèn)題。

模型

模型分為三大步驟，其中第一步是把知識(shí)進(jìn)行一個(gè)檢索，第三步是進(jìn)行一個(gè)MRC的閱讀理解的任務(wù)，這兩個(gè)其實(shí)比較簡(jiǎn)單。中間這個(gè)步驟就是它的創(chuàng)新點(diǎn)——如何把一個(gè) QA的任務(wù)轉(zhuǎn)化成一個(gè)閱讀理解任務(wù)。

具體來(lái)說(shuō)，第一步是根據(jù)一個(gè)問(wèn)題和對(duì)應(yīng)的候選答案，作者到一個(gè)知識(shí)庫(kù)里面檢索出來(lái)這樣一個(gè)子圖，第二步是把這個(gè)子圖變成了一串知識(shí)的描述的文本，然后根據(jù)這個(gè)描述的文本以及這個(gè)問(wèn)題和答案拼接到一起，最后放到這樣一個(gè)MRC的預(yù)訓(xùn)練語(yǔ)言模型中，最后得到它的一個(gè)答案的概率分布，怎么預(yù)測(cè)到正確的答案。

第二步用了三種形式來(lái)實(shí)現(xiàn)這樣一個(gè)fact到text的轉(zhuǎn)換。分別是

（1）基于模板的方法，基于翻譯的方法和基于檢索的方法。其中基于模板大家應(yīng)該也都能想到，就是說(shuō)我把每一個(gè)關(guān)系定義一個(gè)模板，比如說(shuō)像這個(gè)例子舉的這樣。然后如果是有多個(gè)三元組的話，那就把這些三人組的模板轉(zhuǎn)化成之后的短句拼接成一個(gè)長(zhǎng)句，并作為它這一個(gè)子圖的知識(shí)表示。

（2）基于翻譯的方法，作者覺(jué)得第一種方法最后得到的這樣一段話可能是邏輯上不通的，因?yàn)槊恳粋€(gè)短句之間都獨(dú)立也沒(méi)有什么聯(lián)系，而作者第二種方法就是把這樣一一些短句用一種類(lèi)似于機(jī)器翻譯的方法，讓它變得更加的多樣化，然后更加的流暢，類(lèi)似于進(jìn)行了這樣一個(gè)轉(zhuǎn)化。

（3）基于搜索的方法，作者覺(jué)得不管是第一種還是第二種方法，它都存在語(yǔ)句不在真實(shí)世界中出現(xiàn)過(guò)的問(wèn)題，所以用了一種基于檢索的方法，在真實(shí)的維基百科語(yǔ)料中，基于這些出現(xiàn)的這些實(shí)體進(jìn)行文本段落檢索，最后把檢驗(yàn)得到的語(yǔ)句作為知識(shí)的表示形式，然后它可以用到一些具體方法，這里不展開(kāi)大家感興趣的可以去看原文。

實(shí)驗(yàn)

作者在不同預(yù)訓(xùn)練模型的基礎(chǔ)上都進(jìn)行了實(shí)驗(yàn)，因?yàn)橐驗(yàn)镃QA領(lǐng)域里面很多模型是基于不同的預(yù)訓(xùn)練模型實(shí)現(xiàn)的，分別達(dá)到了各自的SOTA，作者把作者們的方法加上作者這樣一個(gè)knowledge-to-text的方法之后，轉(zhuǎn)換成MRC任務(wù)，都實(shí)現(xiàn)了一個(gè)少量的提升。同時(shí)它也構(gòu)造了一個(gè)golden knowledge，人工的把每個(gè)知識(shí)對(duì)應(yīng)到一個(gè)ground truth knowledge上面，來(lái)進(jìn)行一個(gè)上界的判定，看這樣的方法它能夠達(dá)到的上界是多少。可以看到跟人類(lèi)的效果比起來(lái)已經(jīng)接近了。

后面的一些 case study分別是證明這個(gè)方法加了知識(shí)之后到底有多少提升，在具體的例子上作者把那些問(wèn)題分了一些類(lèi)別。然后還進(jìn)行了錯(cuò)誤分析，但好像也沒(méi)有體現(xiàn)出什么有價(jià)值的信息，因?yàn)檫@里面給出了幾個(gè)錯(cuò)誤類(lèi)別基本上都是因?yàn)镵G本身的一些知識(shí)不足所導(dǎo)致的，比如說(shuō)作者知識(shí)區(qū)分度不夠，就像第例子中飛機(jī)可以加速也可以減速，但是這兩個(gè)東西都不能夠精確的回答這一個(gè)問(wèn)題：當(dāng)飛機(jī)到達(dá)的時(shí)候，到底是該加速還是該減速。此外還有一些錯(cuò)誤原因，比如知識(shí)根本就不存在，每一個(gè)問(wèn)題可能找不到對(duì)應(yīng)的知識(shí)。或者是知識(shí)噪音太多導(dǎo)致判斷失誤。

總結(jié)

該論文核心觀點(diǎn)是 MRC的難度小于常識(shí)問(wèn)答，所以作者把一個(gè)難的任務(wù)轉(zhuǎn)化成一個(gè)容易的任務(wù)，這是作者的一個(gè)想法。另外一個(gè)想法就是把知識(shí)直接用一種更顯著的方法（文本）建模，應(yīng)該也許會(huì)好于圖的結(jié)果（實(shí)驗(yàn)里面其實(shí)有一些方法是基于gnn的，但是那些方法的效果并不理想，作者覺(jué)得既然作者不能夠把所有的知識(shí)都很好的利用起來(lái)，但是如果把它用一種更顯著的方法建模的話，利用效果會(huì)更好一些。）。此外作者提出了一個(gè)觀點(diǎn)：哪怕是最好的預(yù)訓(xùn)練語(yǔ)言模型，比如t5（訓(xùn)練語(yǔ)調(diào)是很龐大的），始終還是不能夠包含足夠的常識(shí)知識(shí)。

---

OpenKG

OpenKG（中文開(kāi)放知識(shí)圖譜）旨在推動(dòng)以中文為核心的知識(shí)圖譜數(shù)據(jù)的開(kāi)放、互聯(lián)及眾包，并促進(jìn)知識(shí)圖譜算法、工具及平臺(tái)的開(kāi)源開(kāi)放。

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 網(wǎng)站。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | 通过知识到文本的转换进行知识增强的常识问答的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。