论文浅尝 - ACL2022 | 面向推理阅读理解的神经符号方法
轉載公眾號 | 南大Websoft
概述
? ? 近兩年來NLP領域出現了一些富有挑戰性的機器閱讀理解數據集，如ReClor和LogiQA。這兩個數據集中的問題需要對文本進行邏輯推理，然而傳統的神經模型不足以進行邏輯推理，傳統的符號推理器不能直接應用于文本。為了應對這一挑戰，我們提出了一種神經-符號方法，將基本語篇單元用它們之間的邏輯關系組成圖并進行推理。我們提出了一個自適應邏輯圖網絡（AdaLoGN），可以自適應地根據邏輯關系來擴展圖，并且在一定程度上實現了神經和符號推理之間的交互和迭代強化。我們還實現了一種子圖到節點的圖消息傳遞機制，以增強多選題問答中的背景和選項交互，并在ReClor和LogiQA上取得了較好的結果。
動機
? ? 如下圖，背景文本（Context）中包含了一系列描述基本語篇單元（elementary discourse unit, EDU）之間的邏輯關系的文本，如第一句話中描述了兩個EDU之間的蘊含關系：”the company gets project A” ->?“product B can be put on the market on schedule”。人類能夠很自然地將這些命題轉換為符號推理，然而對于計算機來說卻是個有挑戰性的任務。我們希望能夠融合神經推理和符號推理，提升計算機解決邏輯推理問題的能力。
方法
? ? 我們構建了一個融合神經-符號推理的框架，這個框架總體上包括以下幾個模塊：
首先將文本劃分為單獨的EDU并使用預定義好的規則將關系映射到對應的邏輯關系。建立一個文本邏輯圖（Text Logic Graph），并使用RoBERTa編碼文本并得到EDU的初始表示。
將邏輯推理的過程加入到圖神經網絡的框架中。我們根據結點的表示使用神經方法判斷是否需要根據預定好的規則更改TLG的結構（添加額外的邊或者結點）。實現了通過符號推理（邏輯規則）增強神經推理（圖神經網絡）。在圖神經網絡的中間層擴充的結果并不會保留到下一層，而是在下一層重新推理并擴充，能夠一定程度上避免錯誤累積，而在上一層更新過的結點表示保留到下一層，通過這種機制反過來實現神經推理增強符號推理。
為了增強多選題中的背景和選項交互，我們提出了子圖-結點消息傳遞機制。將TLG劃分為背景子圖和選項子圖，在消息傳遞過程中，每一個結點不僅僅會收到鄰居結點的消息，還會收到另外一個子圖整體的消息，這個子圖消息是注意力機制指導下的子圖結點池化的結果。
最后綜合原始的背景、問題、選項表示和TLG的圖表示預測答案。
實驗
? ? 我們在邏輯推理數據集ReClor和LogiQA上進行了實驗，評測指標：accuracy。
? ? 對比多個Baseline取得了更好的結果（除了LReasoner(w/ DA)），我們認為我們的方法和其它Baselines也能通過LReasoner中的DA（數據增強）方法獲得提升。
? ? 消融實驗也展現了我們的各個模塊的有效性，其中no-ext表示沒有擴充，full-ext表示加入所有候選擴充，no-at表示去掉Adjacency transmission規則，n2n表示去掉子圖-結點消息傳遞，n2n+中為背景子圖和消息子圖中的結點兩兩之間添加一條雙向邊。
錯誤分析和未來的改進方向
? ? 在錯誤分析中發現錯誤集中在以下幾類：
受限于EDU抽取工具的精度，出現TLG構建錯誤。
TLG擴充過程中出錯導致的錯誤。
使用的命題邏輯不能表示的推理過程（需要更高階的邏輯系統）。
其它錯誤（可能是因為神經推理）。
? ? 基于錯誤分析，計劃在未來的工作中使用表示能力更強的邏輯系統并設計更好的判斷是否需要根據邏輯規則擴充的神經網絡結構。
論文鏈接：https://arxiv.org/pdf/2203.08992.pdf
代碼鏈接：https://github.com/nju-websoft/AdaLoGN
OpenKG
OpenKG（中文開放知識圖譜）旨在推動以中文為核心的知識圖譜數據的開放、互聯及眾包，并促進知識圖譜算法、工具及平臺的開源開放。
點擊閱讀原文，進入 OpenKG 網站。
總結
以上是生活随笔為你收集整理的论文浅尝 - ACL2022 | 面向推理阅读理解的神经符号方法的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 论文浅尝 | 基于知识库的自然语言理解
- 下一篇： 论文浅尝 | 基于知识库的神经网络问题生