GAT研究意義:

1、圖卷積神經(jīng)網(wǎng)絡(luò)常用的幾個模型之一(GCN、GAT、GraphSAGE)

2、將Attention機制引入到圖神經(jīng)網(wǎng)絡(luò)中

3、支持歸納式學習和直推式學習

4、模型具有一定的可解釋性

?

本文主要結(jié)構(gòu)如下所示:

一、摘要Abstract

背景介紹及提出GAT模型、圖卷積神經(jīng)網(wǎng)絡(luò)模型、在節(jié)點特征從鄰居匯聚的時候考慮權(quán)重，適用于直推式和歸納式學習

1、在圖結(jié)構(gòu)上使用注意力機制，并提出圖注意力網(wǎng)絡(luò)GAT

2、為每一個中心節(jié)點的不同鄰居指定不同的權(quán)重，計算效率高

3、適用于直推式學習和歸納式學習

4、在多個數(shù)據(jù)集上達到最優(yōu)效果

二、Introduction

介紹圖的廣泛應(yīng)用，以及如何將卷積操作應(yīng)用到圖上，介紹空域和頻域的兩類方法，以及注意力機制并引出本文的模型(GAT)

三、Gat Architecture

介紹GAT模型的結(jié)構(gòu)并于之前的模型做對比

四、Evalution

實驗部分，主要針對數(shù)據(jù)集介紹、baseline選取、直推式和歸納式兩種實驗方式以及圖的節(jié)點分類效果對比

五、Conclusion

總結(jié)提出了GAT模型使用了注意力機制，鄰居匯聚時考慮不同的權(quán)重，同時具有歸納式學習的能力，并討論幾種未來方向，如模型的可解釋性和圖的分類

? ? ? ?關(guān)鍵點:? 1、消息傳遞機制? 2、模型改進和區(qū)別? 3、GAT模型結(jié)構(gòu)和分析??

? ? ? ?創(chuàng)新點:? 1、Attention機制? 2、Multi-head技術(shù)? 3、直推式 和 歸納式 學習

? ? ? ?啟發(fā)點:? 1、深度學習技術(shù)應(yīng)用到圖領(lǐng)域中

? ? ? ? ? ? ? ? ? ? ?2、Attention機制的引入衡量鄰居的不同權(quán)重，有更好的解釋性

? ? ? ? ? ? ? ? ? ? ?3、直推式和歸納式學習討論，圖的設(shè)定上啟發(fā)不同的工作

? ? ? ? ? ? ? ? ? ? ?4、GAT廣泛應(yīng)用到各種應(yīng)用問題

? ? ? ? ? ? ? ? ? ? ?5、GCN、GAT、GraphSAGE非常重要的模型，也是經(jīng)典的baselines

? ? ? ? ? ? ? ? ? ? ?6、模型學習要總結(jié)出共性、統(tǒng)一的框架

?

《新程序員》：云原生和全面數(shù)字化實踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的Graph Attention Networks的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。