圖神經(jīng)網(wǎng)絡(luò)（二）GCN的性質(zhì)（2）GCN能夠?qū)D數(shù)據(jù)進(jìn)行端對端學(xué)習(xí)

?近幾年，隨著深度學(xué)習(xí)的發(fā)展，端對端學(xué)習(xí)變得越來越重要，人們普遍認(rèn)為，深度學(xué)習(xí)的成功離不開端對端學(xué)習(xí)的作用機制。端對端學(xué)習(xí)實現(xiàn)了一種自動化地從數(shù)據(jù)中進(jìn)行高效學(xué)習(xí)的機制。然而，端對端學(xué)習(xí)的這種高度自動化的特性的達(dá)成，往往離不開背后大量的針對特定類型數(shù)據(jù)的學(xué)習(xí)任務(wù)的適配工作，，這種適配體現(xiàn)在當(dāng)下十分流行的各種網(wǎng)絡(luò)層或?qū)訅K結(jié)構(gòu)（block）的設(shè)計上，比如我們熟知的Conv2D層對于圖像數(shù)據(jù)學(xué)習(xí)、LSTM層對于序列數(shù)據(jù)的學(xué)習(xí)、Global Pooling層對于全局信息的提取等。這些層的計算過程必須最大限度地按照我們期望的方式去適配數(shù)據(jù)的內(nèi)在規(guī)律模式。大量的實踐經(jīng)驗告訴我們，深度學(xué)習(xí)能夠在某個場景任務(wù)中取得極其優(yōu)秀的效果，很大程度上得益于這類網(wǎng)絡(luò)層或者由該網(wǎng)絡(luò)層所構(gòu)建的網(wǎng)絡(luò)層塊的定制化設(shè)計[4]。

?因此，如果我們要實現(xiàn)對于圖數(shù)據(jù)的端對端學(xué)習(xí)，學(xué)習(xí)系統(tǒng)必須能夠適配圖數(shù)據(jù)的內(nèi)在模式。

?屬性圖是一種最廣泛的圖數(shù)據(jù)表現(xiàn)形式。在屬性圖里面，每個節(jié)點都有自己的屬性。如圖2-4中的a圖所示，在某個社交網(wǎng)絡(luò)的場景中，用戶節(jié)點存在性別和年齡等屬性，這些屬性對用戶身份的刻畫是十分重要的。同時，我們可以看到圖中有兩個入度很高的節(jié)點，在很大程度上，這類節(jié)點表示的是社交網(wǎng)絡(luò)里面的大V用戶。圖2-4中的b圖所示為乙醇和甲醚的分子式和分子結(jié)構(gòu)，雖然二者的分子式均為${\text{C}}_2{\text{H}}_6\text{O}$，但是由于分子結(jié)構(gòu)不同，二者具有不同的理化性質(zhì)。

圖2-4 圖數(shù)據(jù)示例

?總結(jié)上面兩個例子，我們可以發(fā)現(xiàn)，圖數(shù)據(jù)中包含著兩部分信息：屬性信息與結(jié)構(gòu)信息。屬性信息描述了圖中對象的固有性質(zhì)；結(jié)構(gòu)信息描述了對象之間的關(guān)聯(lián)性質(zhì)，這種由關(guān)聯(lián)所產(chǎn)生的的結(jié)構(gòu)不僅對圖數(shù)據(jù)中節(jié)點的刻畫具有很大的幫助作用，而且對該全圖的刻畫也起著關(guān)鍵作用。一個優(yōu)秀的針對圖數(shù)據(jù)的學(xué)習(xí)系統(tǒng)，必須能夠做到對屬性信息和結(jié)構(gòu)信息進(jìn)行端對端學(xué)習(xí)。

?下面我們來看看GCN的設(shè)計是怎么去適配圖數(shù)據(jù)的內(nèi)在規(guī)律的。為了更形象地闡述GCN對于圖數(shù)據(jù)的端對端學(xué)習(xí)能力，我們將之前提到的兩類非常典型的圖數(shù)據(jù)學(xué)習(xí)方式——基于手工特征與基于隨機游走的方法進(jìn)行對比。一般來說，圖數(shù)據(jù)中樞性信息的處理是比較簡單的，按照屬性的類型進(jìn)行相應(yīng)的編碼設(shè)計，然后將其拼接成一個表示節(jié)點屬性的特征向量就可以了，但是結(jié)構(gòu)信息蘊含在節(jié)點之間的關(guān)系中，是比較難處理的。我們所對比的兩個方法的核心是在如何處理圖的結(jié)構(gòu)信息上，如圖2-5、圖2-6所示。

圖2-5 基于手工特征的方法

?圖2-5所示的方法是基于手工特征的方法，該方法對于圖數(shù)據(jù)的處理方式非常依賴與人工干預(yù)，具體來說，就是將圖中節(jié)點的結(jié)構(gòu)信息以一些圖的統(tǒng)計特征進(jìn)行替代，常見的如節(jié)點的度、節(jié)點的中心度、節(jié)點的PageRank值等，然后將這個代表節(jié)點結(jié)構(gòu)信息的特征向量與代表節(jié)點屬性信息的特征向量拼接在一起，送到下游進(jìn)行任務(wù)的學(xué)習(xí)。這種方法的最大問題在于，表示結(jié)構(gòu)信息的特征向量需要人為定義，因此很難確定這些統(tǒng)計特征是否對學(xué)習(xí)后面的任務(wù)有效。

圖2-6 基于隨機游走的方法

?圖2-6所示的方法是基于隨機游走的方法，隨機游走[1]是網(wǎng)絡(luò)表示學(xué)習(xí)中最具代表性的方法之一，其基本思想是將圖中節(jié)點所滿足的關(guān)系與結(jié)構(gòu)的性質(zhì)映射到一個新的向量空間去，比如再圖上距離更近的兩個節(jié)點，在新的向量空間上的距離也更近。通過這樣的優(yōu)化目標(biāo)將圖里面的數(shù)據(jù)，轉(zhuǎn)化成向量空間里面的數(shù)據(jù)，這樣處理起來就會更加方便。接下來，該方法和基于手工特征的方法的思路一樣，將代表節(jié)點結(jié)構(gòu)信息的特征向量與代表節(jié)點屬性信息的特征向量進(jìn)行拼接，然后進(jìn)行下游的任務(wù)學(xué)習(xí)。所不同的是，其節(jié)點的結(jié)構(gòu)信息是通過隨機游走類方法進(jìn)行學(xué)習(xí)的，并不依賴認(rèn)為定義，因此相比之下會更加高效。

?圖2-7是基于GCN的方法，從圖中可以看到，GCN對于圖數(shù)據(jù)的學(xué)習(xí)方式比較符合端對端的要求：一端是數(shù)據(jù)，另一端是任務(wù)。

圖2-7 基于GCN的方法

?GCN對于屬性信息和結(jié)構(gòu)信息的學(xué)習(xí)體現(xiàn)在其核心計算公式上：${\tilde{L}}_{\text{sym}}XW$，這一計算過程可以被拆分成兩步：

?第1步：$XW$是對屬性信息的仿射變換，學(xué)習(xí)了屬性特征之間的交互模式；

?第2步：${\tilde{L}}_{\text{sym}}(XW)$從空域角度來看是聚合鄰居節(jié)點的過程，代表了對節(jié)點局部結(jié)構(gòu)信息的編碼。

?為了更進(jìn)一步說明GCN對于圖中的結(jié)構(gòu)信息的學(xué)習(xí)能力，我們來看一個經(jīng)典的圖論問題——圖的同構(gòu)問題（graph isomorphism problem），即給定兩個圖，判斷這兩個圖是否完全等價。

圖2-8 圖同構(gòu)[1]

?從圖2-8中我們可以發(fā)現(xiàn)，即使看上去并不相似的兩個圖，也有可能是完全等價的。從同構(gòu)圖的定義中我們可以看到，要想解決這個問題，需要考量的是算法對圖結(jié)構(gòu)信息的分辨能力。一個經(jīng)典的解法就是Weisfeiler-Lehman算法[2]，Weisfeiler-Lehman算法是一個迭代式的算法，其算法流程如下所示：

?對于圖上任意一個節(jié)點$v_i$：

?1.獲取鄰居節(jié)點$v_j\in N(v_i)$的標(biāo)簽$h_j$；

?2.更新$v_i$的標(biāo)簽$h_i\leftarrow \text{hash}({\sum }_{v_j}{h}_j)$，其中$\text{hash}(?)$是一個單射函數(shù)（一對一映射）。

?我們可以看到，上述過程與節(jié)點層面的GCN計算過程基本一致：迭代式地聚合鄰居節(jié)點的特征，從而更新當(dāng)前節(jié)點的特征。從這個角度來看，GCN近似于一種帶參的、支持自動微分的Weisfeiler-Lehman算法。在論文[3]中介紹了一種GCN的衍生模型——Graph Isomorphism Network（GCN），實驗證明，其在判斷圖同構(gòu)的問題上，能力近乎等價于Weisfeiler-Lehman算法。

?在GCN模型中，通過堆疊圖卷積層，上述屬性信息的編碼學(xué)習(xí)與結(jié)構(gòu)信息的編碼學(xué)習(xí)被不斷地交替進(jìn)行，如是完成對圖數(shù)據(jù)中更加復(fù)雜的模式學(xué)習(xí)。GCN相較于上述兩種方法，有如下兩點優(yōu)勢：

?（1）GCN對表示學(xué)習(xí)和任務(wù)學(xué)習(xí)一起進(jìn)行端對端的優(yōu)化，在前述兩種方法中，節(jié)點的特征向量一旦被拼接起來就會被固化下來，下游任務(wù)學(xué)習(xí)中產(chǎn)生的監(jiān)督信號并不能有效指導(dǎo)圖數(shù)據(jù)的表示學(xué)習(xí)，這可能會使節(jié)點的特征表示對于下游的任務(wù)不是很高效的。相反，GCN對于圖數(shù)據(jù)的建模并沒有切分成兩步來完成，對于節(jié)點的表示學(xué)習(xí)與下游的任務(wù)學(xué)習(xí)被放到一個模型里面進(jìn)行端對端學(xué)習(xí)，整個模型的監(jiān)督信號同時指導(dǎo)著任務(wù)層（如分類層）和GCN層的參數(shù)更新，節(jié)點的特征表示與下游任務(wù)之間具有更好的適應(yīng)性。

?（2）GCN對結(jié)構(gòu)信息與屬性信息的學(xué)習(xí)是同時進(jìn)行的，并沒有進(jìn)行分拆和解構(gòu)。通常來說，屬性信息與結(jié)構(gòu)信息具有很好地互補關(guān)系，對于一些結(jié)構(gòu)稀疏的圖來說，屬性信息的補充可以很好地提高模型對節(jié)點表示學(xué)習(xí)的質(zhì)量，另外，結(jié)構(gòu)信息蘊含著屬性信息中所沒有的知識，對節(jié)點的刻畫具有十分重要的作用。GCN將結(jié)構(gòu)信息與屬性信息放進(jìn)一個網(wǎng)絡(luò)層里面同時進(jìn)行學(xué)習(xí)，使二者能夠協(xié)同式地去影響最終節(jié)點的表示。

?總的來說，GCN模型將學(xué)習(xí)過程直接架構(gòu)與圖數(shù)據(jù)智商，為圖數(shù)據(jù)的學(xué)習(xí)提供了一套端對端的框架，對相關(guān)的任務(wù)學(xué)習(xí)具有更好的適應(yīng)性。

參考文獻(xiàn)

[1] Perozzi B, Al-Rfou R, Skiena S. Deepwalk: Online learning of social representations[C]//Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining. 2014: 701-710.

[2] Weisfeiler B, Leman A. The reduction of a graph to canonical form and the algebra which appears therein[J]. NTI, Series, 1968, 2(9): 12-16.

[3] Xu K, Hu W, Leskovec J, et al. How powerful are graph neural networks?[J]. arXiv preprint arXiv:1810.00826, 2018.

[4] 劉忠雨, 李彥霖, 周洋.《深入淺出圖神經(jīng)網(wǎng)絡(luò): GNN原理解析》.機械工業(yè)出版社.

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的图神经网络（二）GCN的性质（2）GCN能够对图数据进行端对端学习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。