大量的學(xué)習任務(wù)需要處理包含豐富元素間關(guān)系信息的圖數(shù)據(jù)。圖神經(jīng)網(wǎng)絡(luò)(GNNs)是一種連接主義模型，它通過圖節(jié)點之間的消息傳遞來捕獲圖的依賴性。
與標準的神經(jīng)網(wǎng)絡(luò)不同，圖神經(jīng)網(wǎng)絡(luò)保留了一種狀態(tài)，可以表示來自其任意深度的鄰域的信息。雖然原始的gnn很難訓(xùn)練為定點，但最近在網(wǎng)絡(luò)架構(gòu)、優(yōu)化技術(shù)和并行計算方面的進展已經(jīng)使它們能夠成功地學(xué)習。近年來，多種圖神經(jīng)網(wǎng)絡(luò)的系統(tǒng)得到了廣泛應(yīng)用：基于圖卷積網(wǎng)絡(luò)(GCN)、圖關(guān)注網(wǎng)絡(luò)(GAT)、門控圖形神經(jīng)網(wǎng)絡(luò)(GGNN)在上述許多任務(wù)上都表現(xiàn)出了突破性的性能。
為什么圖神經(jīng)網(wǎng)絡(luò)值得研究的基本原因：

首先，標準的神經(jīng)網(wǎng)絡(luò)如CNNs和RNNs不能很好地處理圖的輸入，因為它們將節(jié)點的特征按特定的順序進行堆疊。然而，圖中沒有節(jié)點的自然順序。為了完整地呈現(xiàn)一個圖，我們需要遍歷所有作為模型輸入的可能的順序，如CNNs和RNNs，這在計算時是非常冗余的。為了解決這個問題，GNNs分別在每個節(jié)點上傳播，忽略節(jié)點的輸入順序。也就是說，對于節(jié)點的輸入順序，GNNs的輸出是不變的。
其次，圖中的邊表示兩個節(jié)點之間的依賴關(guān)系信息。在標準的神經(jīng)網(wǎng)絡(luò)中，依賴信息只是作為節(jié)點的特征。然而，gnn可以在圖結(jié)構(gòu)的指導(dǎo)下進行傳播，而不是將其作為特性的一部分使用。一般情況下，gnn通過其鄰域狀態(tài)的加權(quán)和來更新節(jié)點的隱藏狀態(tài)。
第三，推理是高級人工智能非常重要的研究課題，人腦的推理過程幾乎是基于從日常經(jīng)驗中提取的圖。標準的神經(jīng)網(wǎng)絡(luò)已經(jīng)顯示出通過學(xué)習數(shù)據(jù)分布來生成合成圖像和文檔的能力，而它們?nèi)匀粺o法從大量的實驗數(shù)據(jù)中學(xué)習推理圖表。然而，gnn探索從場景圖片和故事文檔等非結(jié)構(gòu)性數(shù)據(jù)生成圖，這可以成為進一步高級人工智能的強大神經(jīng)模型。

An overview of variants of graph neural networks

按照類別分類：

we divide the existing methods into five categoriesbased on their model architectures and training strategies:

graph recurrent neural networks (Graph RNNs),
graph convolutionalnetworks (GCNs),
graph autoencoders (GAEs),
graph reinforcementlearning (Graph RL),
and graph adversarial methods

the following high-level distinctions：

GraphRNNs capture recursive and sequential patterns of graphs by modelingstates at either the node-level or the graph-level.
GCNs defineconvolution and readout operations on irregular graph structuresto capture common local and global structural patterns.
GAEsassume low-rank graph structures and adopt unsupervised methodsfor node representation learning.
Graph RL defines graph-basedactions and rewards to obtain feedbacks on graph tasks while followingconstraints.
Graph adversarial methods adopt adversarialtraining techniques to enhance the generalization ability of graph-basedmodels and test their robustness by adversarial attacks.

圖RNNs通過在節(jié)點級或圖級建模狀態(tài)來捕獲圖的遞歸和順序模式。
GCNs在不規(guī)則圖結(jié)構(gòu)上定義卷積和讀出操作，以捕獲常見的局部和全局結(jié)構(gòu)模式。
GAEs采用低秩圖結(jié)構(gòu)，并采用無監(jiān)督的方法進行節(jié)點表示學(xué)習。
Graph RL定義了基于圖的動作和獎勵，以獲得對圖任務(wù)的反饋，同時遵循約束條件。
圖對抗性方法采用對抗性訓(xùn)練技術(shù)來提高基于圖的模型的泛化能力，并通過對抗性攻擊來檢驗?zāi)Ｐ偷聂敯粜?/p>

列出了幾個關(guān)鍵的靈感。
首先，在構(gòu)造圖或選擇架構(gòu)時，將領(lǐng)域知識合并到模型中是很重要的。例如，基于相對距離構(gòu)建一個圖可能適合于交通預(yù)測問題，但可能不適用于地理位置也很重要的天氣預(yù)測問題。
其次，基于圖形的模型通常可以構(gòu)建在其他架構(gòu)之上，而不是作為一個獨立的模型。例如，計算機視覺社區(qū)通常采用CNNs檢測對象，然后使用基于圖的深度學(xué)習作為推理模塊。
對于NLP問題，可以采用GCNs作為句法約束。因此，關(guān)鍵的挑戰(zhàn)是如何集成不同的模型。這些應(yīng)用還表明，基于圖的深度學(xué)習不僅能夠挖掘現(xiàn)有圖數(shù)據(jù)背后的豐富價值，而且有助于將關(guān)系數(shù)據(jù)自然地建模為圖，極大地擴展了基于圖的深度學(xué)習模型的適用性。

參考：Deep Learning on Graphs: A Survey

總結(jié)

以上是生活随笔為你收集整理的图神经网络分类的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。