論文筆記整理：吳桐桐，東南大學博士生，研究方向為自然語言處理。

---

鏈接：https://www.aclweb.org/anthology/P19-1226/

?

近年來，機器閱讀理解已經(jīng)逐漸發(fā)展為自然語言理解方向的主流任務之一。最近，預訓練模型尤其是 BERT，在各項閱讀理解任務中取得了不俗的表現(xiàn)。該篇文章沿用了預訓練模型+精調(diào)的思路，在經(jīng)典的 BERT 模型的基礎上，通過引入知識圖譜中的語義信息來增強閱讀理解模型感知上下文和知識的能力。不同于 ERNIE(百度)，ERNIE(清華)，以及 K-BERT(騰訊)等模型在預訓練階段就引入外部知識，該模型設計了 Knowledge Integration 模塊，用于在面向任務的精調(diào)階段引入知識。這里的知識特指存在于 NELL 和 WordNet 中的概念及同義詞等信息。

本文核心思想在于強調(diào)對兩個數(shù)據(jù)源信息的整合(Integration), 即通過預訓練模型BERT學習自然語言文本信息，通過預訓練的表示學習模型學習知識圖譜全局拓撲結構信息，整合的過程也是挑選知識的過程，模型學習的目標之一是學會如何挑選對當前任務有用的知識概念的能力。

如上圖所示（來自數(shù)據(jù)集 ReCoRD），普通的BERT模型在沒有美國政權等相關背景知識及低頻詞匯的語義關系的前提下，很難僅通過段落的字面表達選取正確的答案，只有在我們補充了特朗普和美國政府的關系，以及 sanctions 與ban是近義詞之后才能讓模型明白問題的含義，從而作出正確的回答。

結構

KT-Bert 中引入知識的基本單元是單詞，即文本中的每一個詞匯都會去知識庫中尋找相關的概念和同義詞，并取出已經(jīng)預訓練的 KB embedding 作為知識的候選集。KT-Bert 通過雙線性層對文本表示以及知識圖譜表示進行關聯(lián)，也就是利用 attention 機制計算每一條候選知識在當前任務中的貢獻程度。

總結

本文模型結構清晰，例證符合推斷，同時在標準數(shù)據(jù)集上的效果提升明顯。核心模塊 Knowledge Integration 雖然和[1]中的 KBLSTM 比較相似，但的確是一種引入知識的可行方案之一。在零樣本、少樣本問題，長尾問題，數(shù)據(jù)不均衡問題等設定下，如何引入知識，在模型的什么位置引入外部知識，引入什么樣的外部知識都是值得研究的內(nèi)容，更進一步的，如何判斷是否需要引入知識，引入具體的哪幾條知識更有待于我們持續(xù)探索。

?

[1] Yang, B., Mitchell, T., 2017. Leveraging Knowledge Bases in LSTMs for Improving Machine Reading. Association for Computational Linguistics, pp. 1436–1446.

?

---

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數(shù)據(jù)的開放與互聯(lián)，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 | 如何利用外部知识提高预训练模型在阅读理解任务中的性能的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。