?PaperWeekly 原創 ·?作者｜金金

單位｜阿里巴巴研究實習生

研究方向｜推薦系統

論文標題：

Wasserstein Distance Regularized Sequence Representation for Text Matching in Asymmetrical Domains

論文來源：

EMNLP 2020

論文鏈接：

https://arxiv.org/abs/2010.07717

簡介

本文由中國人民大學發表于 EMNLP 2020。一種從非對稱域匹配文本的方法是將輸入序列作為特征向量投影到公共語義空間中，通過該特征向量來定義和學習匹配功能。

在現實世界中的文本匹配應用中，我們經常可以觀察到隨著訓練的進行，從不同域投影的特征向量往往難以區分。但是，這種現象在現有的匹配模型中常常被忽略。結果，特征向量在沒有任何正則化的情況下被構造，這不可避免地增加了學習下游匹配函數的難度。

在本文中，作者提出了一種針對非對稱域中的文本匹配方法，稱為 WD-Match。在 WD-Match 中，定義了基于 Wasserstein 距離的正則化項，以對從不同域投影的特征向量進行正則化。

通過將 WD-Match 用作基礎匹配模型，可以使用 WD-Match 改進該方法。本文采用了四種流行的文本匹配方法。基于四個公開基準的實驗結果表明，WD-Match 始終優于基礎方法和基準。

模型

本文包含三個模塊，第一個模塊將文本映射到特定的向量空間中，第二部分通過前饋神經網絡計算相關性分數，第三部分即本文提出的基于 Wasserstein 距離的正則化項，本文的創新模塊即為第三部分。

根據 Wasserstein 距離本身的計算方法，我們可以得出兩個概率分布之間的距離如下：

在此基礎上，可以將其改寫為對偶形式如下（其中 G 是 1-Lipschitz 函數）：

于是正則化項的損失函數我們可以定義如下：

在訓練的過程中，作者分別使用該損失函數和匹配損失函數進行訓練，在訓練某一模塊的時候，固定其他模塊的參數，具體的訓練流程如下：

實驗

本文在推斷和問答的數據集上進行實驗，因為本文并非提出了一個模型，而是一個可以應用于文本匹配模型的正則化模塊，所以作者將該模塊添加到了 SOTA 的模型上，發現對各模型均有提升，且參數量沒有明顯增加。

進一步，作者研究了 RE2 模型訓練過程的變化，發現添加了該模塊后，的確隨著輪數的增加優化了 Wasserstein 距離，進一步證明了模型的有效性。

結論

在本文中，作者提出了一種新穎的基于 Wasserstein 距離的正則化項來改進序列表示，以用于非對稱域中的文本匹配。該方法稱為 WD-Match，根據給定的投影特征估計 Wasserstein 距離，并最小化 Wasserstein 距離的正則匹配損失。

本文證明了，正則化項有助于 WD-Match 在語義空間中很好地分布生成的特征向量，因此更適合匹配。四個基準測試的實驗結果表明，WD-Match 的性能可超過包括其基礎模型在內的基準。

實證分析表明，基于 Wasserstein 距離的正則化器在文本匹配中是有效的。將來，作則計劃在不對稱文本匹配任務中研究不同的正則表達式，以進一步探索它們在彌合不對稱域之間的差距方面的有效性。

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的EMNLP 2020 | 基于Wasserstein距离的正则化序列表示的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。