導(dǎo)讀：目前常見的圖卷積神經(jīng)網(wǎng)絡(luò)一般都是3、4層，本文關(guān)注的問題是圖卷積神經(jīng)網(wǎng)絡(luò)GCN/GNN是否也能和一般的卷積神經(jīng)網(wǎng)絡(luò)CNN一樣加深到50+層而不會(huì)有Vanishing Gradient問題，作者提出了ResGCNs，DenseGCNs和Dilated GCN，MRGCN等結(jié)構(gòu)，甚至能訓(xùn)練收斂152層GCN，并在點(diǎn)云分割任務(wù)上取得了比較好的效果。李國(guó)豪，中國(guó)科學(xué)院大學(xué)碩士，阿卜杜拉國(guó)王科技大學(xué)計(jì)算機(jī)科學(xué)博士生一年級(jí)。研究方向是計(jì)算機(jī)視覺、深度學(xué)習(xí)、無人駕駛、強(qiáng)化學(xué)習(xí)等，曾在商湯科技研究院實(shí)習(xí)參與無人駕駛研究項(xiàng)目。在機(jī)器人頂會(huì)Robotics: Science and Systems(RSS‘2019)發(fā)表論文。圖卷積網(wǎng)絡(luò)(GCN)在處理非規(guī)則數(shù)據(jù)的過程中具有CNN無法比擬的優(yōu)勢(shì)，但目前的圖卷積網(wǎng)絡(luò)規(guī)模較小，在加深深度的過程中由于梯度消失(Vanishing Gradient)和過度平滑(Over Smoothing)問題限制圖卷積網(wǎng)絡(luò)的進(jìn)一步發(fā)展。為了探索圖卷積網(wǎng)絡(luò)深度拓展的潛力，來自阿卜杜拉國(guó)王科技大學(xué)的研究人員在CNN結(jié)構(gòu)的啟發(fā)下在圖卷積網(wǎng)絡(luò)中利用殘差、稠密連接和膨脹卷積等結(jié)構(gòu)成功將GCN的深度拓展到了56層，在增強(qiáng)模型訓(xùn)練穩(wěn)定性的基礎(chǔ)上大幅度提高了圖卷積網(wǎng)絡(luò)的性能。

圖卷積網(wǎng)絡(luò)

圖卷積網(wǎng)絡(luò)對(duì)于真實(shí)世界中廣泛存在的非歐幾里得數(shù)據(jù)具有強(qiáng)大的優(yōu)勢(shì)，它可以處理龐大的社交網(wǎng)絡(luò)數(shù)據(jù)，通過將社交網(wǎng)絡(luò)等效為圖來分析人與人之間的關(guān)系，也可以通過圖的方式來為化學(xué)分子結(jié)構(gòu)建模助力新藥研發(fā)，同時(shí)還可以精確地構(gòu)建用戶的交互模式以提升推薦系統(tǒng)的精度與效率，此外在語(yǔ)言處理、復(fù)雜的詞句關(guān)系中都有著廣泛的應(yīng)用。
對(duì)于計(jì)算機(jī)視覺來說，圖卷積網(wǎng)絡(luò)對(duì)于場(chǎng)景中各部分的語(yǔ)義關(guān)系建模也十分有效，圖卷積網(wǎng)絡(luò)在對(duì)于點(diǎn)云的處理方面也涌現(xiàn)了一系列優(yōu)秀的工作。例如在點(diǎn)云分割和提升深度的探索上研究人員們都進(jìn)行了一系列探索，但研究發(fā)現(xiàn)較深的圖卷積網(wǎng)絡(luò)會(huì)引起過度平滑(over-smoothing)的結(jié)果，使得局域特征都收斂到相同的值上；此外隨著網(wǎng)絡(luò)的加深還會(huì)帶來較高的計(jì)算復(fù)雜度和以及常見的梯度消失問題。
梯度消失、感受野較小、計(jì)算復(fù)雜度較高…這一系列問題似乎很熟悉？在卷積神經(jīng)網(wǎng)絡(luò)發(fā)展的初期，人們也面臨著相同的問題！那么是不是可以借鑒CNN的發(fā)展經(jīng)驗(yàn)來解決GCN所面臨的問題呢？研究人員通過殘差、稠密連接和膨脹卷積等新的GCN結(jié)構(gòu)給出了肯定的答案。

深度圖卷積網(wǎng)絡(luò)

圖卷積網(wǎng)絡(luò)通過聚合頂點(diǎn)領(lǐng)域的特征來實(shí)現(xiàn)高層信息的抽取。在圖網(wǎng)絡(luò)中，通過與每個(gè)頂點(diǎn)相連的特征矢量來表示頂點(diǎn)，整個(gè)圖就通過銜接這些所有頂點(diǎn)的特征來表達(dá)。下面的公式代表了圖網(wǎng)絡(luò)的一般表達(dá)形式：其中Gl，Gl+1代表了第l層圖網(wǎng)絡(luò)的輸入和輸出，圖卷積操作F?包含了聚合操作與更新操作，其中聚合操作用于從鄰域的頂點(diǎn)中編碼信息，而更新操作則用于將聚合后的信息進(jìn)行非線性變化以計(jì)算出新的表達(dá)。這些函數(shù)的實(shí)現(xiàn)由多種形式，為了突出研究重點(diǎn)研究人員選用了簡(jiǎn)單的最大池化作為聚合操作函數(shù)，多層感知機(jī)作為更新函數(shù)以便對(duì)抽取的特征進(jìn)行非線性變換。此外，為了進(jìn)一步提高模型的表達(dá)能力，動(dòng)態(tài)圖卷積也是十分必要的。在研究中利用k-NN在每一層圖卷積層都對(duì)頂點(diǎn)間的邊進(jìn)行了重計(jì)算來動(dòng)態(tài)改變感受野，同時(shí)也有利于緩解較深的網(wǎng)絡(luò)帶來過度平滑的問題。

三管齊下有效加深GCN

為了加深圖網(wǎng)絡(luò)的深度提升模型的表達(dá)能力，研究人員在ResNet，DenseNet和膨脹卷積的啟發(fā)下對(duì)GCN?進(jìn)行了一系列改進(jìn)升級(jí)，提出了深度更深、更加穩(wěn)定、表現(xiàn)更好的圖網(wǎng)絡(luò)。下面讓來看看他們是如何將這三種技術(shù)引入圖網(wǎng)絡(luò)中的。ResGCN.通常的圖卷積網(wǎng)絡(luò)方法將一個(gè)圖作為輸入，通過映射函數(shù)F得到新的圖表示。而研究人員則提出一個(gè)新的函數(shù)H來映射輸入圖網(wǎng)絡(luò)與目標(biāo)網(wǎng)絡(luò)間的殘差：在通常GCN的基礎(chǔ)上，研究人員為每一層增加了殘差鏈接，這些鏈接將為信息和梯度的傳輸提供了額外的連接通道，將有效解決梯度消失的問題。DenseGCN.稠密的連接提供了一種更為高效特征共享方式和信息流動(dòng)通道，研究人員在DenseNet的啟發(fā)下為每層圖卷積銜接了先前所有中間層的信息。下面的公式中可以看出每一層的卷積中包含了一直到輸入層的信息流。這種方法將有效的融合多級(jí)別的特征，為梯度的流動(dòng)提供了良好的通道，進(jìn)一步促進(jìn)特征的復(fù)用，緩解梯度消失問題。?膨脹卷積圖像領(lǐng)域的研究表明，膨脹卷積(Dilated Aggregation)可以在不損失分辨率的情況下有效擴(kuò)大模型感受野，研究人員通過k-NN的方式來尋找每一層GCN后需要膨脹的鄰域，并構(gòu)建了膨脹的圖結(jié)構(gòu)。例如針對(duì)一個(gè)膨脹率為d的圖，k-NN會(huì)在輸入圖中每隔d個(gè)相鄰節(jié)點(diǎn)來構(gòu)建k*d的計(jì)算區(qū)域并返回k-NN結(jié)果。

模型架構(gòu)

在三種新模塊的加持下，研究人員構(gòu)建了下圖所示的新型深度圖卷積網(wǎng)絡(luò)結(jié)構(gòu)。整個(gè)結(jié)構(gòu)主要包含了圖卷積主干網(wǎng)絡(luò)、特征融合模塊和多層感知器預(yù)測(cè)模塊三個(gè)主要的部分。其中主干網(wǎng)絡(luò)用于抽取輸入數(shù)據(jù)的特征。在實(shí)驗(yàn)過程中研究人員利用了ResGCN和DenseGCN來構(gòu)建主干網(wǎng)絡(luò)；隨后利用與PointNet和EdgeConv相同的方法構(gòu)建了融合模塊，對(duì)全局和局部特征進(jìn)行了有效融合；最后利用多層感知機(jī)模塊對(duì)融合后的特征進(jìn)行處理，針對(duì)特定的任務(wù)進(jìn)行處理。
實(shí)驗(yàn)過程中使用點(diǎn)云分割任務(wù)進(jìn)行驗(yàn)證，主干網(wǎng)絡(luò)對(duì)輸入4096個(gè)點(diǎn)進(jìn)行處理抽取了包含4096個(gè)頂點(diǎn)的圖特征；隨后利用1*1的卷積、池化對(duì)特征進(jìn)行處理，并對(duì)全局與局部特征融合，最后利用1*1卷積實(shí)現(xiàn)的多層感知機(jī)對(duì)所有的點(diǎn)進(jìn)行分類實(shí)現(xiàn)點(diǎn)云分割。研究人員首先實(shí)現(xiàn)了ResGCN28作為深度圖卷積的基礎(chǔ)網(wǎng)絡(luò)，其中包含了28層結(jié)構(gòu)，包含了殘差圖連接和膨脹卷積。實(shí)驗(yàn)結(jié)果在mIOU上比目前的結(jié)果提升了4%。隨后研究人員在S3DIS數(shù)據(jù)集上以RecGCN28作為基準(zhǔn)，對(duì)網(wǎng)絡(luò)的結(jié)構(gòu)、參數(shù)進(jìn)行了一系列改進(jìn)。通過使用稠密連接、動(dòng)態(tài)k-NN和不同的通道數(shù)與深度來分析模型的性能變化，下表總結(jié)了各種變體與基準(zhǔn)模型的對(duì)比。研究人員發(fā)現(xiàn)簡(jiǎn)易實(shí)現(xiàn)的稠密連接對(duì)于顯存的消耗十分巨大，殘差連接對(duì)于實(shí)際應(yīng)用更加現(xiàn)實(shí)。消融性分析更多地針對(duì)于殘差連接的網(wǎng)絡(luò)展開。在上表中可以看到膨脹卷積所決定的感受野在性能上貢獻(xiàn)了3%，能更好地與殘差鏈接協(xié)同工作。而當(dāng)k-NN的鄰域大小變?yōu)樵瓉淼?/2和1/4時(shí)，性能下降了2.5%和3.3%，這意味著較大的感受野有利于模型性能的提升，但這一提升需要建立在模型有充分容量基礎(chǔ)上。如果增加鄰域的同時(shí)減小核的數(shù)量就會(huì)造成較大的性能損失。
還可以看到更深更寬的模型可以提升網(wǎng)絡(luò)的性能，這很大程度上意味著模型容量的增加和表達(dá)的抽取更為有效，但更深的模型需要在殘差和膨脹卷積的配合下才能有效提升。
為了更清晰地展示各種部件對(duì)于網(wǎng)絡(luò)的影響，研究人員還做出了下面的柱狀圖對(duì)各種因素進(jìn)行了分析。另外，研究人員結(jié)合GraphSAGE和EdgeConv的優(yōu)點(diǎn)提出了更加高效的圖卷積模型MRGCN。最后一起來看看這種方法在數(shù)據(jù)集上取得的效果吧，最右邊兩列是本文提出模型的結(jié)果，與沒有殘差或稠密連接的模型相比顯著提高了語(yǔ)義分割的效果：如果想要了解詳細(xì)信息，可以這一項(xiàng)目的網(wǎng)站：https://sites.google.com/view/deep-gcns
也可以下載代碼上手學(xué)習(xí)一番：https://github.com/lightaime/deep_gcnsref:https://sites.google.com/view/deep-gcnshttps://arxiv.org/abs/1904.03751https://github.com/WangYueFt/dgcnnhttps://github.com/charlesq34/pointnethttps://en.wikipedia.org/wiki/Non-Euclidean_geometryhttps://www.zhihu.com/question/54149221https://dribbble.com/shots/4191976-Icon-illustration-2

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的gcn语义分割_ICCV Oral 2019：152层GCN大幅加深图卷积网络的方法，点云分割任务效果显著...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。