論文筆記整理：陳名楊，浙江大學(xué)直博生。

---

Introduction

知識(shí)圖譜（KGs）在很多NLP的下游應(yīng)用中起著越來越重要的作用。但是知識(shí)圖譜常常是不完整的，所以解決知識(shí)圖譜補(bǔ)全的任務(wù)也非常重要。主要有三種方法來完成知識(shí)圖譜補(bǔ)全的任務(wù)，基于規(guī)則（Rule-Based）的方法，基于潛入（Embedding-Based）的方法和基于路徑（Path-Based）的方法。、

當(dāng)前，也有一些工作考慮使用深度強(qiáng)化學(xué)習(xí)來解決預(yù)測(cè)缺失鏈接的問題，例如DeepPath，是第一個(gè)將深度強(qiáng)化學(xué)習(xí)引入知識(shí)圖譜推理的工作。但該工作也有很多缺陷，第一，DeepPath缺少memory相關(guān)的部分，導(dǎo)致需要一定的監(jiān)督學(xué)習(xí)進(jìn)行與訓(xùn)練，該預(yù)訓(xùn)練可能導(dǎo)致模型過擬合；第二，對(duì)不同的關(guān)系都使用相同的超參數(shù)并沒有考慮實(shí)體間多樣性的鏈接；第三，當(dāng)agent選擇了一條無效的路徑后，會(huì)停下來并重新選擇，這樣會(huì)導(dǎo)致持續(xù)選擇無效路徑最終被困在一個(gè)節(jié)點(diǎn)。

本文提出了一個(gè)新的使用模型（AttnPath）來解決上面提到的問題，該模型使用LSTM和圖注意力機(jī)制作為memory部分從而不需要預(yù)訓(xùn)練，提出了兩個(gè)度量MSR和MRR，提出了一定的機(jī)制使得agent每一步都向前走從而不會(huì)被困在某一個(gè)點(diǎn)。

?

Method (AttnPath)

????? 因?yàn)樵摲椒ㄊ褂脧?qiáng)化學(xué)習(xí)作為訓(xùn)練方法，所以先介紹該方法強(qiáng)化學(xué)習(xí)的框架：

環(huán)境（Environment）：整個(gè)知識(shí)圖譜，除了當(dāng)前正在query的關(guān)系和其反關(guān)系；

狀態(tài)（State）：agent的state由三部分連接而成，分別是嵌入部分，LSTM部分和圖注意力部分；

a) 嵌入部分。類似于DeepPath，本文的嵌入部分包含了當(dāng)前節(jié)點(diǎn)的嵌入，以及target節(jié)點(diǎn)嵌入減去當(dāng)前節(jié)點(diǎn)的嵌入，區(qū)別于DeepPath使用TransE作為嵌入方法，這里使用TransD作為嵌入方法把每個(gè)節(jié)點(diǎn)的嵌入映射到當(dāng)前query的關(guān)系的相關(guān)平面上。則嵌入部分的 M_t 表示如下：

?????? b) LSTM部分。這里使用一個(gè)三層的LSTM來對(duì)agent之前走過的路徑進(jìn)行編碼：

?????? c) 圖注意力部分。對(duì)于每一個(gè)entity都有不同的方面，也就是說希望agent可以更多關(guān)注和當(dāng)前query有關(guān)的關(guān)系和鄰居節(jié)點(diǎn)，因此引入來GAT，對(duì)一個(gè)節(jié)點(diǎn)的周圍節(jié)點(diǎn)，采用不同的權(quán)重并且相加，如下：

所以最終的狀態(tài)表示如下

3. 動(dòng)作（Action）：在KG推理的任務(wù)中，動(dòng)作指的是agent選擇一個(gè)關(guān)系然后前進(jìn)一步。動(dòng)作也分為有效和無效，有效指的是在當(dāng)前的節(jié)點(diǎn)中有這樣的關(guān)系從該節(jié)點(diǎn)出去，反之亦然；

4. 獎(jiǎng)勵(lì)（Reward）：獎(jiǎng)勵(lì)是對(duì)agent的反饋，根據(jù)選擇的relation是否是有效的，以及一系列的動(dòng)作是否能走到最終真正的尾實(shí)體；

?

整個(gè)過程的優(yōu)化使用REFORENCE算法，更新參數(shù)如下：

AttnPath的模型如下所示：

?

Mean Selection / Replace Rate

對(duì)于不同的關(guān)系，需要懸鏈不同的模型，但是不同關(guān)系的困難程度不同，也就是說有些關(guān)系有較多的替代關(guān)系，agent可以很容易的找到一條替代的路徑從頭實(shí)體走到尾實(shí)體。這里提出兩個(gè)度量方法，MeanSelection Rate和Mean Replacement Rate來度量每個(gè)關(guān)系的困難程度。

對(duì)于關(guān)系r的Mean Select Rate（MSR）表示如下：

MSR越低，表示r越難學(xué)習(xí)，因?yàn)檫B接r的實(shí)體有很多的方面（aspect），也就說對(duì)于這些entity，r只是其中的一小部分。

??????????? 對(duì)于關(guān)系的MeanReplacement Rate（MRR）表示如下：

MRR越高表示這個(gè)當(dāng)前的關(guān)系有更多的可以替代的relation，所以更容易學(xué)習(xí)到一個(gè)新的路徑因?yàn)閍gent可以直接選一個(gè)替代的relation到達(dá)尾實(shí)體。

??????????? 在本文中，對(duì)于學(xué)習(xí)起來有不同難易程度的關(guān)系采用不同程度的正則化。例如對(duì)于具有比較高的MSR和MRR的關(guān)系，因?yàn)閷W(xué)習(xí)起來比較容易，則采用更多的正則化來防止過擬合，反之亦然。

?

Experiments

Fact Predict：

Link Prediction：

---

?

OpenKG

開放知識(shí)圖譜（簡(jiǎn)稱 OpenKG）旨在促進(jìn)中文知識(shí)圖譜數(shù)據(jù)的開放與互聯(lián)，促進(jìn)知識(shí)圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 博客。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | 基于深度强化学习将图注意力机制融入知识图谱推理的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。