論文筆記整理：鄧淑敏，浙江大學(xué)在讀博士，研究方向?yàn)榈唾Y源條件下知識(shí)圖譜自動(dòng)化構(gòu)建關(guān)鍵技術(shù)研究。

---

Rujun Han, Qiang Ning, Nanyun Peng. Joint Event and Temporal Relation Extractionwith Shared Representations and Structured Prediction. EMNLP 2019.

論文鏈接：https://www.aclweb.org/anthology/D19-1041/

這篇文章解決的是“事件-事件關(guān)系聯(lián)合抽取”問題，即給定一個(gè)候選事件對(duì)，除了判斷這兩個(gè)候選事件是否屬于事件，還要判斷出這兩者之間是否存在關(guān)系（這篇文章判斷的是時(shí)序關(guān)系）。在講這篇文章的模型之前，我們首先整理一下解決這個(gè)問題的方法——端到端的事件-事件關(guān)系聯(lián)合抽取模型。

端到端的事件-事件關(guān)系聯(lián)合抽取模型大致可以分為四類：

（1）單任務(wù)模型，先進(jìn)行事件檢測(cè)，然后把檢測(cè)到的事件對(duì)輸入到事件關(guān)系抽取模型中，事件對(duì)的編碼模型參數(shù)不共享；

（2）多任務(wù)模型，與單任務(wù)模型類似，但是事件的對(duì)的編碼模型參數(shù)共享；

（3）管道聯(lián)合模型，與多任務(wù)模型的區(qū)別在于訓(xùn)練過程，它是將事件檢測(cè)模型生成的事件候選集直接用于事件關(guān)系抽取模型的訓(xùn)練；

（4）結(jié)構(gòu)化聯(lián)合抽取模型，與管道聯(lián)合抽取模型的區(qū)別在于，事件檢測(cè)模型和事件關(guān)系抽取模型不是序列關(guān)系，而是結(jié)構(gòu)化的。注意單任務(wù)模型和多任務(wù)模型是無法處理None事件類型的，但是管道聯(lián)合模型和結(jié)構(gòu)化聯(lián)合抽取模型可以。這篇文章提出的SSVM方法屬于結(jié)構(gòu)化聯(lián)合抽取模型。4種方法形象化表示如下圖所示。

端到端的事件-事件關(guān)系聯(lián)合抽取模型分類（轉(zhuǎn)載請(qǐng)注明出處）

• Neural SSVM模型

接下來看一下本篇文章提出的Neural SSVM（神經(jīng)結(jié)構(gòu)化支持向量機(jī)）模型。

Neural SSVM 模型架構(gòu)

上圖是這篇文章提出的模型架構(gòu)。事件對(duì)由BERT得到Embedding，然后經(jīng)由BiLSTM編碼，最后放到SSVM中進(jìn)行事件與否和事件關(guān)系存在與否的判斷。

SSVM的Loss函數(shù)為

其中，

表示的是事件的數(shù)目和事件關(guān)系數(shù)目的總和。

分別表示的事件對(duì)和事件關(guān)系的真實(shí)結(jié)果和預(yù)測(cè)結(jié)果。

分別表示的判斷事件與否和判斷事件關(guān)系存在與否的得分函數(shù)。

其他參數(shù)為超參或者模型參數(shù)。

• MAP推斷

這篇文章是通過最大后驗(yàn)概率推斷來得到預(yù)測(cè)結(jié)果的，將推斷問題建模為整數(shù)線性規(guī)劃（ILP）問題，加入了三種約束：（1）one-labelassignment：單標(biāo)簽分配，事件和事件關(guān)系只有是與不是之分，并且只可能是其中一種；（2）event-relationconsistency：事件-事件關(guān)系的一致性，只有事件之間才存在事件關(guān)系，非事件之間不存在；（3）symmetryand transitivity：（時(shí)序）關(guān)系的對(duì)稱性和傳遞性。

最后ILP的目標(biāo)函數(shù)為：

• Experiments

最后看一下這篇文章的實(shí)驗(yàn)結(jié)果。用的數(shù)據(jù)集是TB-Dense和MATRES，比較的模型就是開篇提到的四種端到端的事件-事件關(guān)系聯(lián)合抽取模型。

事件-事件關(guān)系聯(lián)合抽取結(jié)果

事件-事件關(guān)系聯(lián)合抽取的Ablation Study

---

?

OpenKG

開放知識(shí)圖譜（簡(jiǎn)稱 OpenKG）旨在促進(jìn)中文知識(shí)圖譜數(shù)據(jù)的開放與互聯(lián)，促進(jìn)知識(shí)圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 博客。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | 通过共享表示和结构化预测进行事件和事件时序关系的联合抽取的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。