筆記整理：楊帆，浙江大學計算機學院碩士，研究方向知識圖譜。

---

動機

事件編碼（event encoding）之前的工作集中在提取實體，檢測觸發單詞以及匹配預定義的模板，這些方法存在以下缺點：首先它們依賴于細粒度的標記數據進行訓練，但是這些數據很難獲得；其次它們使用句子級別的嵌入來去除導致錯誤的上下文信息，但是一個事件的信息并不只是包含在一個單一的句子中。作者提出的模型引入多層的注意力機制來生成句子和文檔的表示，旨在更好地捕獲全局信息來進行事件分類及編碼。

模型

本文提出的模型包含以下三個模塊：

1. Sequence Encoder?

該模塊使用雙向GRU生成每個單詞的表示。

2. Word-Level Attention

該模塊包含以下三部分：

2.1 Bilinear Attention?

第一部分將 Sequence Encoder 生成的單詞表示通過一層的MLP得到其對應的隱藏層表示，然后利用 和 計算得到attention ， 代表句子的全局信息。

2.2 Factorized Bilinear Multi-Aspect Attention (FBMA)

第二部分通過矩陣分解將之前單層的attention轉換為多層的attention，用來抽取更豐富的全局信息。

?

2.3 Sentence Representation?

第三部分通過單詞的表示以及對應的attention計算得到每個句子的表示。

?

3. Attention-Level Attention

3.1 Document representation?

文檔表示的計算方式與句子表示類似，此處不再贅述。

?

3.2 Loss?

該模型采用交叉熵作為損失函數，并且引入懲罰項P防止生成的多層attention的各層權重相同。

實驗

1. Dataset?

2.Baselines?

3.Results ?

---

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 博客。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的论文浅尝 | 采用多层注意力机制的事件检测的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。