?PaperWeekly 原創 ·?作者｜張琨

學校｜中國科學技術大學博士生

研究方向｜自然語言處理

論文標題：

Beyond Relevance: Trustworthy Answer Selection via Consensus Verification

論文作者：

Lixin Su , Ruqing Zhang , Jiafeng Guo , Yixing Fan , Jiangui Chen , Yanyan Lan , Xueqi Chen

論文來源：

WSDM 2021

論文鏈接：

https://dl.acm.org/doi/abs/10.1145/3437963.3441781

Motivation

社區問答（CQA）是 NLP 中的問答系統研究中的一個重要組成部分，既有豐富的數據，同時又有實際的應用。因此是很多人的研究方向。但同時 CQA 又存在自己的問題，因為答案都是用戶生成的，所以答案的質量良莠不齊，而這會直接影響到模型最終的效果。

傳統的方法大多是將 CQA 轉變為一個檢索的問題，根據和問題的相關性對所有的答案進行排序，從而找到最合適的答案，但本文認為，CQA 問題不僅僅是選擇一個好答案的問題，例如下圖的例子，可以看出來兩個答案都是和問題十分相關的，但明顯第一個答案就要優于第二個。因此要更好的解決 CQA 問題，首先要解決的就是什么是好答案？

在本文中，作者受真理共識論（Consensus theory of truth）的啟發提出了一個好答案是由兩部分組成的：相關性，可信性。一個好答案必定是相關的，但一個相關的答案不一定是好答案。還要考慮是否具有可信性。這里真理共識論是指如果一個結論是好的，那么必定是被大多數人接受的。

在 CQA 中的話，最好理解的形式就是如果一個問題獲得的投票更多，那兒它就更可能是最好的答案。基于這個想法，作者提出了一個 Matching-Verification （MV）的框架。

Method

首先是模型的整體框架圖，如下圖所示：

模型整體分為兩部分，Matching 部分和 Verification 部分。前者主要用于判斷問題和答案的相關，而后者主要用于判斷答案的質量，即答案的可信性。

2.1 Matching component

這部分相對來說簡單一些，將問題和每個答案進行拼接，然后過 BERT，將 BERT 的輸出結果再過一個 FC 層，最后做一個分類即可。性對傳統的匹配方法

2.2 Verification Component

這部分是本文的重點。首先從思路上講是沒有問題的，但實際上一個用戶并不一定能每次都找到非常好的答案。即數據本身是有噪聲的，那么本文的挑戰就是如何從有噪聲的數據中找到可信的表示。為了解決這個問題，本文提出了 Verification 的框架，該框架如下圖所示：

該框架主要包含兩部分內容。真理表示學習（Consensus Representation Learning）和答案-真理驗證（Answer-consensus Verification）

首先就是真理表示學習。在這里，考慮到并沒有 ground truth 可以利用，作者借鑒了 EM 算法的思想，提出了一種 EM 框架，其中 E 步是選出一個 pivoted supporting evidence，M 步使用一種新的注意力機制得到真理表示。具體分為以下步驟：

找到合適的輸入：作者通過網頁和用戶生成內容分別得到和問題相關的 Top-k 個相關的證據。

對輸出的處理：這步相對簡單，分別通過 BERT 對答案和 evidence 進行處理，得到最終的每個詞的表示。如下圖所示：

pivoted supporting evidence：該步基于的一個假設是如果一個 evidence 和其他的許多重要的 evidence 相關，那么它也是非常重要的。為此，作者通過兩個 evidences 之間的矩陣乘（相當于 co-attention），然后做 softmax，平均，最后再去最大值，就得到了最終的 pivoted supporting evidence，可以表示為如下過程：

Consensus Representation：這部分最主要的目的就是得到真理的表示，或者說大多數答案形成的共識。為此，在得到 pivoted supporting evidence 之后，作者提出了一種新的注意力機制，稱之為 pivoted attention mechanism，其實就是利用得到的 ，去所有的 evidence 中找到他們各自對應的權重，最后通過加權和的形式得到 evidence 的融合表示，即這里的真理表示

這就是整個真理表示學習（Consensus Representation Learning）的技術內容。

接下來就是答案-真理驗證部分了，這部分就相對來說簡單一些，首先是答案和真理表示 做矩陣乘，然后分別得到利用答案表示的真理，和利用真理表示得到的答案，可以表示為如下形式：

在接下來就是融合層，在這里，作者不是是簡單的使用啟發式的匹配方法，而是通過將多個不同的輸入送給不同的全連階層，然后再次全連接，通過這種形式最終得到融合后的表示，最后就是過池化層，然后是個 sigmoid 函數計算得出答案和真理之間的匹配得分，可以表示為：

2.3 Confidence-based Combination of Matching and Verification

這部分就是將匹配的得分和驗證的得分整合起來，首先為了驗證所有的 evidence 之間是否是一致的，作者提出了一種自交互網絡，簡單講就是通過拼接，卷積，池化，MLP 得到最后的一致性得分，而這個得分就是為了確保 evidence 是有用的。

如果檢索到的結果都是沒有用的，那么上一步計算得到的答案和真理之間的得分就會獲得很小的權重，模型就更依賴匹配模塊的得分。這個也是為了解決數據噪聲的問題，具體可以表示為：

最終，作者選擇了 pairwise learning 的方法用于訓練整個模型，以下就是整個模型的目標函數。

Experiments

作者分別在 AmazonQA ，YahooQA ，QuoraQA 三個 CQA 的數據集上進行了模型的驗證，模型效果如下，可以看出模型的效果還是很不錯的。

同時，作者也給出了一些 case study 用于驗證模型真實的效果，在這個例子中，作者分別給出了相關性得分和可靠性得分，而且給出了好的答案和相關的答案的相關結果數據，還是非常直觀的。

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的不只是相关：基于真理共识论的社区问答可信答案选择新方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。