Citation: Pawar, S., Palshikar, G. K., & Bhattacharyya, P. (2017).Relation Extraction : A Survey, 1–51. Retrieved from http://arxiv.org/abs/1712.05191

?

動機

近年來基于深度學習方法的遠程監督模型取得了不錯的效果，但是現有研究大多使用較淺的 CNN 模型，通常一個卷基層加一個全連接層，更深的 CNN 模型是否能夠更好地解決以有噪聲的標注數據為輸入的遠程監督模型沒有被探索。為了探索更深的 CNN 模型對遠程監督模型的影響，本文設計了基于殘差網絡的深層 CNN 模型。實驗結果表明，較深的 CNN 模型比傳統方法中只使用一層卷積的簡單 CNN 模型具有較大的提升。

?

方法

本方法的模型結構如下圖所示：

1.????輸入層。每個單詞使用詞向量和位置向量聯合表示。

2.????卷基層。為了得到句子更高級的表示，采用多個卷基層堆疊在一起。為了解決訓練時梯度消失的問題，在低層和高層的卷基層之間建立捷徑連接。

3.????池化層和 softmax 輸出層。

實驗

實驗在遠程監督常用的數據集 NYT-Freebase 上進行。實驗結果表明：

·??????本文提出的方法采用 9 個卷基層時達到最好的效果，這時不適用注意力機制和 piecewise pooling 性能也接近了使用注意力和 piecewise pooling 的方法。結果如下表所示。

·??????不使用殘差網絡的深層 CNN 模型，當層數較深時效果變差。使用殘差網絡可以解決其無法傳播的問題，效果改善很多；結果如下圖所示。

筆記整理：劉兵，東南大學在讀博士，研究方向為自然語言處理。

---

OpenKG.CN

中文開放知識圖譜（簡稱OpenKG.CN）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

轉載須知：轉載需注明來源“OpenKG.CN”、作者及原文鏈接。如需修改標題，請注明原標題。

?

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 | 弱监督关系抽取的深度残差学习方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。