筆記整理：譚亦鳴, 東南大學(xué)博士生

來(lái)源：NAACL'21

鏈接：https://aclanthology.org/2021.naacl-main.465/

概述

為了擴(kuò)展多語(yǔ)言知識(shí)圖譜問(wèn)答的應(yīng)用，Zero-shot方法成為一個(gè)研究趨勢(shì)。在Zero-shot的設(shè)定下，通過(guò)高資源語(yǔ)言的訓(xùn)練數(shù)據(jù)構(gòu)建模型，解決無(wú)標(biāo)注的多語(yǔ)言問(wèn)題。一個(gè)直觀的方法是使用多語(yǔ)言的預(yù)訓(xùn)練模型（例如m-BERT）來(lái)做跨語(yǔ)言的轉(zhuǎn)換，但目前優(yōu)勢(shì)語(yǔ)言與其他語(yǔ)言的問(wèn)答性能之間仍然存在明顯的差異。在這篇論文中，作者提出了一種無(wú)監(jiān)督雙語(yǔ)詞歸納方法（BLI）將優(yōu)勢(shì)語(yǔ)言的問(wèn)題（論文中的原語(yǔ)言）映射到其他語(yǔ)言上，作為擴(kuò)展訓(xùn)練集。從而解決訓(xùn)練和推理之間的語(yǔ)言不一致問(wèn)題。進(jìn)一步的，通過(guò)一個(gè)對(duì)抗學(xué)習(xí)策略來(lái)解決擴(kuò)展集存在的語(yǔ)法障礙問(wèn)題，使得到的模型具有語(yǔ)言和語(yǔ)法的獨(dú)立性。在一個(gè)具有11種Zero-shot數(shù)據(jù)集上實(shí)驗(yàn)驗(yàn)證的該方法的有效性。

動(dòng)機(jī)

對(duì)于多語(yǔ)言圖譜問(wèn)答任務(wù), 現(xiàn)有的benchmark廣泛使用了翻譯方法, 即利用機(jī)器翻譯將優(yōu)勢(shì)語(yǔ)言資源的訓(xùn)練數(shù)據(jù)翻譯為其他語(yǔ)言, 從而擴(kuò)充為多語(yǔ)言訓(xùn)練集. 但是這類(lèi)方法嚴(yán)重依賴(lài)于翻譯方法的性能, 顯然高性能翻譯器并不是滿(mǎn)地都是.

為了使方法能夠適用于更多的語(yǔ)言, 作者假設(shè)這個(gè)任務(wù)場(chǎng)景里不具備人工譯者和平行語(yǔ)料的資源. 對(duì)應(yīng)的, 為了解決訓(xùn)練數(shù)據(jù)擴(kuò)充, 作者引入了一個(gè)基于BLI的完全無(wú)監(jiān)督機(jī)器翻譯方法. 作者判斷BLI方法有效的依據(jù)在于KGQA面對(duì)的往往是短句, 對(duì)于長(zhǎng)距離依賴(lài)的影響不大, 而語(yǔ)言一致性能夠帶來(lái)更大收益.

為了緩解BLI引起的句法障礙問(wèn)題, 作者使用了一個(gè)對(duì)抗學(xué)習(xí)策略, 即在編碼器頂層設(shè)置一個(gè)分類(lèi)器用于區(qū)分輸入的是源語(yǔ)言句子還是BLI翻譯得到的句子, 通過(guò)這種做法使編碼器對(duì)于語(yǔ)言的敏感性減少, 從而適用于多語(yǔ)言任務(wù).

方法

作者首先建立了一個(gè)面向單語(yǔ)問(wèn)題的基礎(chǔ)框架, 包含三個(gè)主要模塊, 如圖1:

1.推理鏈排序: 對(duì)于鏈接到的問(wèn)題實(shí)體, 首先找到其潛在的候選鏈(來(lái)自鏈接實(shí)體+兩跳之內(nèi)的另?yè)?jù)), 而后與將鏈與問(wèn)題計(jì)算相關(guān)性, 取Top-1作為目標(biāo)推理鏈2.類(lèi)型約束排序: 對(duì)于1中給出的推理鏈, 枚舉出已知變量和lambda變量的類(lèi)型候選,因?yàn)檫@兩個(gè)變量之間幾乎沒(méi)有黃金類(lèi)型約束的重疊，一個(gè)的語(yǔ)義匹配模型對(duì)兩者都是足夠的,從而確定了推理鏈上的節(jié)點(diǎn)(變量)的類(lèi)型.3.聚合分類(lèi)器: 針對(duì)問(wèn)題中涉及的聚合操作如: 布爾, 計(jì)數(shù)和事實(shí), 構(gòu)建分類(lèi)器判斷聚合類(lèi)型, 而后將聚合操作約束也添加到生成的查詢(xún)圖中

圖2是作者提出的基于BLI的多語(yǔ)言問(wèn)題語(yǔ)義匹配模型.

首先, BLI方法實(shí)際上是通過(guò)找到一個(gè)線性轉(zhuǎn)換矩陣, 使得不同語(yǔ)言的預(yù)訓(xùn)練單語(yǔ)詞向量之間差異最小, 即如公式6:

基于BLI作者建立了一個(gè)字對(duì)字翻譯器

考慮到圖譜問(wèn)答主要是詞或短語(yǔ)級(jí)別的匹配, 通過(guò)字對(duì)字翻譯得到的序列可以滿(mǎn)足這個(gè)需要, 另一方面, 關(guān)于翻譯錯(cuò)誤帶來(lái)的影響, 作者描述為, 直觀上, 他們的詞向量在空間上接近, 錯(cuò)誤的詞級(jí)別翻譯可以視作微量的噪聲, 對(duì)于具備魯棒性的Transformer-based編碼器來(lái)說(shuō), 不會(huì)造成什么影響.

在多語(yǔ)言問(wèn)答場(chǎng)景中, 基礎(chǔ)模型主要又以下一些變化:

1.推理鏈排序: 對(duì)于每個(gè)推理鏈, 通過(guò)三種方式豐富它的謂詞: a. 將camel表示的短語(yǔ)轉(zhuǎn)換為序列格式的詞; b. 增加或減少方向信息的前綴; c. 在局部封閉假設(shè)下鏈接高頻類(lèi)型;2.類(lèi)型約束排序: 待匹配的問(wèn)題和符號(hào)候選通過(guò)[CLS],[SEP]的標(biāo)記連接起來(lái), 輸入預(yù)訓(xùn)練編碼器后在經(jīng)過(guò)Pool(.), 后者表示使用[CLS]的上下問(wèn)來(lái)表示整個(gè)輸入. 這里的預(yù)訓(xùn)練編碼器使用的是m-BERT

3.聚合分類(lèi)器: 由多語(yǔ)言預(yù)訓(xùn)練編碼器+MLP-based的預(yù)測(cè)層構(gòu)成.

實(shí)驗(yàn):

數(shù)據(jù)集:

作者主要使用了兩個(gè)知識(shí)圖譜問(wèn)答數(shù)據(jù)集:

LC-QuAD(單語(yǔ)) 包含5000個(gè)英語(yǔ)問(wèn)題-SPARQL對(duì), 其中1000用作測(cè)試集

QALD-multilingual(多語(yǔ)言), 包含12種語(yǔ)言, 429個(gè)問(wèn)題全部作為測(cè)試集, 使用LC-QuAD作為訓(xùn)練集.

實(shí)驗(yàn)結(jié)果:

主要結(jié)果(評(píng)價(jià)指標(biāo)為ICA與F1)

消融分析:

---

OpenKG

OpenKG（中文開(kāi)放知識(shí)圖譜）旨在推動(dòng)以中文為核心的知識(shí)圖譜數(shù)據(jù)的開(kāi)放、互聯(lián)及眾包，并促進(jìn)知識(shí)圖譜算法、工具及平臺(tái)的開(kāi)源開(kāi)放。

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 網(wǎng)站。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | 改善多语言KGQA的 Zero-shot 跨语言转换的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。