本文轉(zhuǎn)載自公眾號：PaperWeekly。?

---

?本期的論文筆記來自 PaperWeekly 社區(qū)用戶 @britin。本文給出了一種 end-to-end 的系統(tǒng)來自動將 NL 問題轉(zhuǎn)換成 SPARQL 查詢語言。

作者綜合了實體識別以及距離監(jiān)督和 learning-to-rank 技術(shù)，使得 QA 系統(tǒng)的精度提高了不少，整個過程介紹比較詳細(xì)，模型可靠接地氣。

關(guān)于作者：Britin，中科院物理學(xué)碩士，研究方向為自然語言處理和計算機視覺。

■?論文 | More Accurate Question Answering on Freebase

■ 鏈接 | https://www.paperweekly.site/papers/1356

■ 源碼 | https://github.com/ad-freiburg/aqqu

論文動機

在知識問答中，要把一個自然語言的問句映射到知識庫 KB 中是很難的，目前的問答系統(tǒng)通常是將 NLP 問句轉(zhuǎn)換成一個 SPARQL 查詢語句去檢索 KB。如何完成這一轉(zhuǎn)換過程面臨著很多問題，比如怎么在 KB 中找到和問句中匹配的實體與關(guān)系。

首先問題中的實體名可能不完全依照數(shù)據(jù)庫中的名稱，同一個實體有多種叫法。其次數(shù)據(jù)庫中多個實體對應(yīng)的名稱可能是一樣的。比如 Freebase 里叫 apple 的就有 218 種實體。精確匹配的話很難找到答案，模糊匹配又會從大型數(shù)據(jù)庫中搜索到冗余的數(shù)據(jù)。

本文在學(xué)習(xí)算法基礎(chǔ)上采用了 learning-to-rank 來重點關(guān)注被大部分工作忽略掉的實體識別的問題。

模型介紹

本文要完成的任務(wù)是根據(jù) KB 知識來回答自然語言問題，給出了一個叫 Aqqu 的系統(tǒng)，首先為問題生成一些備選 query，然后使用學(xué)習(xí)到的模型來對這些備選 query 進行排名，返回排名最高的 query，整個流程如下：?

比如要回答這個問題：What character does Ellen play in finding Nemo??

1. Entity Identification 實體識別?

首先在 KB 中找到和問句中名詞匹配置信度較高的實體集合，因為問句中的 Ellen，finding Nemo 表達(dá)并不明確，會匹配到 KB 中的多個實體。?

先用 Stanford Tagger 進行詞性標(biāo)注。然后根據(jù)詞性挑出可能是實體的詞與 KB 進行匹配，利用了 CrossWikis 數(shù)據(jù)集匹配到名稱相似或別名相似的實體，并進行相似度評分和詞語流行度評分。?

2. Template Matching 模板匹配?

這一步對上一步得到的候選實體在數(shù)據(jù)庫中進行查詢，然后利用三種模板生成多個候選 query。三種模板和示例如圖所示：

3. Relation Matching 關(guān)系匹配?

這一步將候選 query 中的 relation 與問句中剩下的不是實體的詞進行匹配，分別從 Literal，Derivation，Synonym 和 Context 四個角度進行匹配。?

Literal 是字面匹配，Derivation 利用 WordNet 進行衍生詞匹配，Synonym 利用 word2vec，匹配同義詞。Context 則是從 wiki 中找出和 relation 匹配的句子，然后利用這些句子計算原問句中的詞語和這些 relation 匹配出現(xiàn)的概率，采用 tf-idf 算法。?

4. Answer Type Matching 答案類型匹配?

這里采用了較為簡潔的方法，將 relation 連接的對象類型和問句中的疑問詞匹配，比如 when 應(yīng)該和類型為日期的對象匹配。?

5. Candidate Features 人工設(shè)計的特征

• 實體匹配的特征：（1）備選 query 中實體的個數(shù)（2）字面大部分匹配的實體個數(shù)（3）實體中匹配的token的數(shù)量（4-5）實體匹配概率的平均值和總和（6-7）實體匹配流行度的平均值和總和

• 關(guān)系匹配的特征：（8）匹配模板中的關(guān)系個數(shù)（9）字面匹配的關(guān)系個數(shù)（10-13）分別在 literal，derivation，synonym 和 context 四個角度匹配的 token 個數(shù)（14）同義詞匹配總分（15）關(guān)系上下文匹配總分（16）答案的 relation 在 KB 中出現(xiàn)的次數(shù)（17）n-gram 特征匹配度

• 綜合特征：（18）特征?3 和 10 的總和（19）問句中匹配到實體或關(guān)系的詞所占比重（20-22）二進制結(jié)果大小為 0 或 1-20 或大于 20（23）答案類型匹配的二元結(jié)果

6. Ranking?

本文采用了基于 learning-to-ranking 的方法根據(jù)上述特征對備選結(jié)果進行 ranking。作者使用了 pairwise ranking，針對兩個備選的 query，預(yù)測哪一個評分更高，然后取勝出最多的那個。?

分類器采用了 logistic regression 和 random forest。

實驗結(jié)果

本文使用 Freebase 作為 KB，但對于 WikiData 同樣有效。?

數(shù)據(jù)集使用了 Free917 和 WebQuestions。前者手動編寫了覆蓋 81 個 domain 的自然語言問句，語法準(zhǔn)確，每個問句都對應(yīng)一條 SPARQL 語句，用它可以在 KB 中查到標(biāo)準(zhǔn)答案。訓(xùn)練集和測試集比例為 7:3。

WebQuestions 包含 5810 條從 Google Suggest API 上爬下來的問句，和 Free917 不同的是，它比較口語化，語法不一定準(zhǔn)確，并且問題覆蓋的領(lǐng)域多為 Google 上被問到最多的領(lǐng)域。答案是用眾包生成的，噪聲較大，訓(xùn)練集和測試集比例為 7:3。

和 Sempre，GraphParser 等結(jié)果較好的模型比較了 accuracy 和 F1 score，結(jié)果如下：

文章還分析了每個特征對系統(tǒng)可靠性的影響：

對于 80% 的查詢，正確答案都能出現(xiàn)在 Top-5 里。

文章評價

本文給出了一種 end-to-end 的系統(tǒng)來自動將 NL 問題轉(zhuǎn)換成 SPARQL 查詢語言。系統(tǒng)綜合了實體識別以及距離監(jiān)督和 learning-to-rank 技術(shù)。設(shè)計的特征非常具體豐富，比以往的模型準(zhǔn)確度高了不少。并且據(jù)說程序運行效率也很好，一秒就能回答出一個問題。

系統(tǒng)的準(zhǔn)確雖然不是特別高，但在 Top-5 內(nèi)的準(zhǔn)確度很高，如果加上交互式問答的形式，結(jié)果可能就會改善。本文沒有采用深度學(xué)習(xí)的方法，采用的是統(tǒng)計學(xué)習(xí)的方法，并且手動設(shè)計了特征，人工代價比較高，對數(shù)據(jù)集的要求和質(zhì)量較高。

-End-

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學(xué)術(shù)平臺。

---

OpenKG.CN

中文開放知識圖譜（簡稱OpenKG.CN）旨在促進中文知識圖譜數(shù)據(jù)的開放與互聯(lián)，促進知識圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

點擊閱讀原文，進入 OpenKG 博客。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | 基于Freebase的问答研究的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。