轉(zhuǎn)載公眾號(hào) |?浙大KG

---

論文題目：MLBiNet: A Cross-Sentence Collective Event Detection Network

本文作者：婁東方、廖智霖、鄧淑敏、張寧豫、陳華鈞（浙江大學(xué)）

接收會(huì)議：ACL 2021

論文鏈接：https://arxiv.org/pdf/2105.09458.pdf

開源代碼：https://github.com/zjunlp/DocED

歡迎轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)注明出處

引言

跨句事件抽取旨在研究如何同時(shí)識(shí)別篇章內(nèi)多個(gè)事件。我們提出多層雙向網(wǎng)絡(luò)MLBiNet（Multi-Layer Bidirectional Network）融合跨句語義和關(guān)聯(lián)事件信息，從而增強(qiáng)內(nèi)各事件提及的判別。首先，為建模句子內(nèi)部事件關(guān)系，我們提出雙向解碼器用于同時(shí)捕捉前向和后向事件依賴；然后，我們利用信息聚合器匯總句子語義和事件提及信息；最后，通過迭代多個(gè)由雙向解碼器和信息聚合器構(gòu)造的單元，并在每一層傳遞鄰近句子的匯總信息，最終感知到整個(gè)文檔的語義和事件提及信息。實(shí)驗(yàn)表明，跨句語義信息和事件依賴關(guān)系對(duì)事件抽取有效，我們的方法在ACE05數(shù)據(jù)集上取得最優(yōu)表現(xiàn)。

一、前言

事件抽取包括事件觸發(fā)詞檢測(cè)（識(shí)別事件觸發(fā)詞，并明確所觸發(fā)事件的類型）和屬性抽取（識(shí)別觸發(fā)事件的屬性，并標(biāo)注各屬性對(duì)應(yīng)角色）兩個(gè)子任務(wù)。例如，“He died in hospital”中“died”作為一個(gè)Die類型事件的觸發(fā)詞，該事件中，屬性“He”的角色為Person, “hospital”的角色為Place. 本文主要探討事件觸發(fā)詞檢測(cè)任務(wù)中的跨句觸發(fā)詞聯(lián)合抽取問題。

圖1? ACE05樣例

當(dāng)下，事件觸發(fā)詞檢測(cè)任務(wù)面臨的挑戰(zhàn)主要包括：（1）句子上下文表示及篇章級(jí)信息整合[1],[2]。候選觸發(fā)詞類型的判定一般需要結(jié)合上下文信息，包括關(guān)聯(lián)實(shí)體信息（類型等）、其他候選觸發(fā)詞等。例如，圖1中句子3中的“firing”可能是開槍（觸發(fā)Attack事件）或離職（觸發(fā)End_Position事件），Attack事件的確立需要融合句子2,4等的信息。（2）句內(nèi)和句間事件關(guān)聯(lián)性建模[1],[3]。句4包含事件觸發(fā)詞fight和death，ACE05數(shù)據(jù)集中超過40%觸發(fā)詞如此共現(xiàn)；類似句2、句3和句4中的連續(xù)關(guān)聯(lián)事件同樣普遍。因此，建模事件之間依賴對(duì)于同時(shí)抽取句子、跨句多事件尤為重要。

現(xiàn)有方法主要專注于句子級(jí)事件抽取，忽略了存在于其他句子中的信息。通過對(duì)事件抽取benchmark數(shù)據(jù)集ACE05的分析，我們得出如下結(jié)論。（1）可將事件觸發(fā)詞檢測(cè)任務(wù)視為一個(gè)Seq2Seq任務(wù)，其中，source序列為文本篇章或句子，target序列是事件標(biāo)簽序列。對(duì)應(yīng)基于RNN的encoder-decoder框架能有效處理該類問題，其中encoder建模豐富的上下文語義信息，decoder在解碼過程中捕捉標(biāo)簽的依賴性。（2）對(duì)于當(dāng)前句子，與之關(guān)聯(lián)最密切的信息主要存在于鄰近句子，相距較遠(yuǎn)的文本影響較小。

基于上述現(xiàn)象和結(jié)論，我們提出基于encoder-decoder框架的多層雙向網(wǎng)絡(luò)MLBiNet，嘗試融合跨句語義和事件信息以提升事件觸發(fā)詞檢測(cè)效果。

二、方法

模型包括四部分：語義編碼器、雙向解碼器、信息整合層、多層雙向打標(biāo)器等。其中，語義編碼層由BiLSTM和自注意力機(jī)制構(gòu)成；雙向解碼層融合前向解碼和后向解碼，有助于捕捉雙向事件依賴關(guān)系；信息整合層基于簡(jiǎn)單LSTM結(jié)構(gòu)整合句子內(nèi)部事件標(biāo)簽信息和語義信息；多層雙向打標(biāo)器則逐層傳遞鄰近句子信息，最終捕捉更大鄰域范圍內(nèi)的語義和事件信息，進(jìn)而實(shí)現(xiàn)跨句事件聯(lián)合抽取。

具體而言，雙向解碼器（給定輸入文本，target序列的長(zhǎng)度已知，它與輸入文本等長(zhǎng)）表達(dá)如下：

其中，編碼器和解碼器定義為

對(duì)于多層雙向打標(biāo)器，它的結(jié)構(gòu)主要約束包括：（1）信息傳遞只發(fā)生在相鄰句子間；（2）當(dāng)前句子中的所有token可見跨句信息是相同的；（3）隨著層數(shù)增加，較遠(yuǎn)距離的句子信息可被當(dāng)前句子獲取到；（4）每層的雙向打標(biāo)器都由一個(gè)雙向解碼器和一個(gè)信息整合層構(gòu)成。對(duì)于第k層事件標(biāo)簽向量信息計(jì)算方法為：

其中，?

?表示鄰近句子在上一層中整合得到的信息。最終事件標(biāo)簽向量?

?.

三、實(shí)驗(yàn)

我們?cè)贏CE05數(shù)據(jù)集上進(jìn)行了試驗(yàn)，如下兩個(gè)表所示，我們的方法在不同維度都能取得較好的效果。雙向解碼器有效，它在1層時(shí)較之于HBTNGMA更優(yōu)；跨句信息整合有意義，多層網(wǎng)絡(luò)下，我們的方法在單事件句子和多事件句子的抽取效果都得到提升。

模塊剖析進(jìn)一步了驗(yàn)證雙向解碼器和信息整合層的作用。具體而言，雙向解碼器較之于單向方法顯著更優(yōu)；層數(shù)增加情況下，不同解碼機(jī)制下的效果都能得到提升；不同信息整合機(jī)制也能引起一定表現(xiàn)變動(dòng)。

四、總結(jié)與展望

在本文中，我們提出了一種跨句事件觸發(fā)詞聯(lián)合識(shí)別方法MLBiNet，它能同時(shí)實(shí)現(xiàn)篇章信息整合和跨句事件依賴建模，最終實(shí)驗(yàn)證明該方法能有效提升事件觸發(fā)詞識(shí)別效果。接下來，我們可嘗試將該方法的推廣到其他篇章級(jí)信息抽取任務(wù)（Docred, NER等），整合跨句語義信息，并建模標(biāo)簽關(guān)系。

[1] Collective event detection via a hierarchical and bias tagging networks with gated multi-level attention mechanisms. EMNLP2018

[2] Document embedding enhanced event detection with hierarchical and supervised attention. ACL2018

[3] Jointly multiple events extraction via attention-based graph information aggregation. EMNLP2018

[4] Event extraction via dynamic multi-pooling convolutional neural networks. ACL2015

[5] Edge-enhanced graph convolution networks for event detection with syntactic relation. EMNLP2020

[6] Meta-learning with dynamic-memory-based prototypical network for few-shot event detection. WSDM2020

[7] Event extraction as multi-turn question answering. EMNLP2020

[8] A joint neural model for information extraction with global features. ACL2020

[9] Exploiting the ground-truth: An adversarial imitation based knowledge distillation approach for event detection. AAAI2019

[10] Exploiting argument information to improve event detection via supervised attention mechanisms. ACL2017

[11] Graph convolutional networks with argument-aware pooling for event detection. AAAI2018

[12] Event detection with multi-order graph convolution and aggregated attention. EMNLP2019

[13] Ontoed: Low-resource event detection with ontology embedding. ACL2021

[14] Docred: A large-scale document-level relation extraction dataset. ACL2019

---

?

OpenKG

OpenKG（中文開放知識(shí)圖譜）旨在推動(dòng)以中文為核心的知識(shí)圖譜數(shù)據(jù)的開放、互聯(lián)及眾包，并促進(jìn)知識(shí)圖譜算法、工具及平臺(tái)的開源開放。

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 網(wǎng)站。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 - ACL2021 | 探讨跨句事件联合抽取问题的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。