文章目錄

• 1 摘要
• 2 引言
• 相關工作
• 3 方法
• • 3.1 特征圖產生器
  • • 3.1.1 特征相似圖
    • 3.1.2特征傳播圖
  • 3.2 語義圖生成器
• 4 實驗
• 5 結論

論文鏈接： http://shichuan.org/doc/100.pdf
代碼鏈接： https://github.com/Andy-Border/HGSL
作者：北京郵電大學趙建安等人
參考閱讀： https://mp.weixin.qq.com/s/hAmJdKItK8BljVGEtnU7AA
作者另一篇： NSHE
另一篇圖結構學習方法 HGNN-AC

1 摘要

異構圖神經網絡（HGNNs）近年來受到越來越多的關注，并在許多任務中取得了優異的性能。現有人類神經網絡的成功依賴于一個基本假設，即原始的異構圖結構是可靠的。然而，這種假設通常是不現實的，因為現實中的異構圖不可避免地會有噪聲或缺失的問題。因此，如何為異質圖神經網絡學習一個合適的圖結構而不是依賴于原始圖結構是一個關鍵問題。為解決這一問題，本文首次研究了異質圖結構學習(Heterogeneous Graph Structure Learning)問題，并提出了HGSL框架來聯合學習適合分類的異質圖結構和圖神經網絡參數。HGSL 通過挖掘特征相似性、特征與結構之間的交互以及異質圖中的高階語義結構來生成適合下游任務的異質圖結構并聯合學習 GNN參數。三個數據集上的實驗結果表明，HGSL 的性能優于基線模型。

2 引言

許多真實世界的數據具有圖結構，例如社交媒體圖、文獻引用圖。圖神經網絡（GNN）作為一種處理圖數據的強大深度表示學習工具被廣泛地應用于節點分類、圖分類以及推薦等下游任務中。最近，隨著真實世界中異質圖應用的激增，學者們提出了異質圖神經網絡（HGNN），并在一系列應用上取得了優越的效果。
大多數HGNN遵循一種消息傳遞（message passing）機制，其中節點的表示通過聚合和轉換其原始鄰居或基于元路徑鄰居的信息來學習。然而，這些方法依賴于一個基本假設，即原始異質圖結構良好且適合下游任務。然而，這種假設因為以下原因經常不成立。首先，由于異質圖通常是根據一些預先定義的規則從復雜的交互系統中提取得出，這些交互系統本身不可避免地包含了一些不確定的信息或錯誤。以推薦中的用戶-物品圖為例，用戶可能會誤點一些不需要的物品，給圖帶來噪聲信息。其次，異質圖的提取通常要經過數據清洗、特征提取和特征轉換等過程，這些過程通常與下游任務無關，導致提取的圖結構與下游任務之間存在差距。因此，為GNN學習適合下游任務的異質圖結構是一個重要的問題。
最近，為了自適應地學習gnn的圖結構，圖結構學習(GSL)方法(Franceschi et al. 2019;Jiang et al. 2019;Chen, Wu, and Zaki 2019;Jin等人2020)提出，其中大部分對鄰接矩陣進行參數化，并將其與GNN參數一起對下游任務進行優化。然而，這些方法都是針對同構圖設計的，不能直接應用于異構圖，面臨以下挑戰:(1)異構圖中的異構性當學習只有一種關系類型的同構圖時，我們通常只需要參數化一個鄰接矩陣。然而，異構圖由多個關系組成，每個關系反映異構圖的一個方面。因為統一對待這些異質關系必然會限制圖結構學習的能力。如何處理這種異構性是一個具有挑戰性的問題。(2)異構圖中的復雜交互。不同的關系和節點特征具有復雜的交互作用，這推動了不同類型的底層圖結構的形成(Zhang, Swami, and Chawla 2019)。此外，不同關系的組合進一步形成了大量語義各異的高階關系，這也意味著不同的圖生成方式。這些因素都會影響異構圖結構，因此在異構圖結構學習中必須充分考慮這些復雜的交互作用。
在本文中，我們首次嘗試研究圖神經網絡的異構graphstructurelearning，并提出了一個新的框架HGSL。在HGSL中，聯合學習異構圖和GNN參數，以提高節點分類性能。特別是在圖學習部分，為了捕獲不同關系生成的異構度量，對每個關系子圖分別進行學習。具體來說，對于每個關系，通過挖掘異構節點特征和圖結構中的復雜關聯，生成三種類型的候選圖，即特征相似圖、特征傳播圖和語義圖。學習到的圖進一步融合為異構圖并饋給GNN。對圖學習參數和GNN參數進行聯合優化，達到分類目標。我們的主要貢獻如下:

• 合適的異構圖結構是HGNN成功的基本保證。據我們所知，我們第一次嘗試研究如何學習一個最優的異構圖結構的GNN針對下游任務。
• 我們提出了一種具有異構圖結構學習的新型異構圖神經網絡，該網絡生成三種圖結構(特征相似圖、特征傳播圖、語義圖)，從而全面融合最優異構圖用于GNN。
• 我們在三個真實世界的數據集上進行了廣泛的實驗，以驗證HGSL與最先進的方法的有效性。

本文首次對圖神經網絡的異質圖結構學習進行研究，并提出了一個異質圖結構學習框架HGSL。HGSL框架根據下游任務對異質圖結構和GNN參數進行聯合學習。在圖結構學習部分，HGSL分別對每個關系子圖進行學習。具體來說，對于每一種關系，通過從異質節點特征和圖結構中挖掘復雜關聯，生成特征圖、和語義圖并與原始圖結構進一步融合成可學習的異質圖結構饋送給GNN。最終，圖結構學習參數和GNN參數聯合優化以完成節點分類任務。

相關工作

圖神經網絡（GNN）
目前的GNNs一般可以分為兩類:光譜GNNs和空間GNNs(吳等2019b)。具體來說，譜GNNs基于圖譜理論學習節點表示。例如，(布魯納等人2014)通過圖拉普拉斯算子設計了傅立葉域中的圖卷積運算。然后，ChebNet (Defferrard，Bresson，and Vandergheynst 2016)利用切比雪夫多項式作為卷積濾波器來提高效率。GCN (Kipf和Welling 2017)通過使用其一階近似簡化了ChebNet。此外，(Wu等人，2019a)將圖形卷積簡化為線性模型，并且仍然獲得競爭性能。空間神經網絡直接在圖上定義卷積運算，利用空間上的近鄰。例如，GAT (Velickovic等，2018)用注意機制聚集鄰域表示。GraphSAGE (Hamilton，Ying和Leskovec 2017)通過聚集來自采樣鄰居的信息來執行歸納圖卷積。為了提高效率，FastGCN(陳、馬和肖2018)對每個卷積層執行重要性采樣。讀者可以參考這些詳細的調查(張，崔，朱2018；吳等2019b)進行了徹底的審查。
異構圖神經網絡（HGNN）
異構圖神經網絡是為處理無處不在的異構數據而提出的。一些HGNNs直接在原始異構圖上進行圖卷積。HGAT用注意機制聚集節點和類型層次信息進行短文本分類。HetGNN通過隨機游走對異構鄰居進行采樣，然后聚合節點和類型信息。為了解決元路徑選擇難題，HetSANN利用注意機制聚集投影節點的多關系信息。NSHE(趙等2020a)保留了兩兩和網絡模式結構。HGT(胡等，2020)采用基于元關系的相互注意來實現信息傳遞的異源圖和元路徑。其他HGNN方法使用元路徑生成圖，然后應用GNN。GraphInception(張等，2018)將圖卷積應用于基于元路徑的同構圖，以執行集合分類。HAN(王等，2019b)將節點級和語義級注意力應用于基于元路徑的圖。(云等，2019)通過堆疊多個圖形轉換器層來執行元路徑生成，然后執行圖形卷積。MAGNN (Fu等人，2020)對元路徑實例應用元路徑內和元路徑間聚合。
圖結構學習（GSL）
為了減輕GNNs依賴于原始圖結構的良好質量的限制，已經做了一些努力(張等2019b鄭等2020；楊毅、紀2019；趙等2020b王等. 2020cPei等人，2020年)。除了這些努力之外，最近還提出了圖結構學習。GSL方法旨在聯合學習圖結構和GNN參數。為了說明，LDS (Franceschi等人，2019)將鄰接矩陣內的每條邊建模為一個參數，并以雙層方式將它們與GNN參數一起學習。(姜等，2019)從節點特征生成基于相似度的圖結構。IDGL(陳，吳，扎基2019)迭代地學習這些度量以從節點特征和嵌入生成圖結構。ProGNN(金等2020)聯合學習參數和具有圖性質的魯棒圖結構。然而，前面提到的這些GSL方法都是為同構圖設計的。

3 方法

3.1 特征圖產生器

由于原始圖對于下游任務可能不是最優的，自然的想法是通過充分利用異構節點特征中的豐富信息來擴充原始圖結構。通常有兩個因素影響基于特征的圖結構的形成。一個是節點特征之間的相似性，另一個是節點特征與拓撲間的關系(王等2020c)。如圖1 (b)所示，我們首先提出生成一個特征相似度圖，該圖通過異構特征投影和度量學習捕捉節點特征生成的潛在關系。然后提出通過拓撲結構傳播特征相似矩陣，生成特征傳播圖。最后，通過通道關注層將生成的特征相似度圖和特征傳播圖聚合成最終的特征圖

3.1.1 特征相似圖

特征相似圖通過特征的相似性來生成圖結構，即一對特征相似的節點對存在潛在的邊。

3.1.2特征傳播圖

特征相似圖通過特征與拓撲之間的交互來生成圖結構，我們通過一個例子來更好的理解。例如，考慮生成用戶和電影之間的潛在圖結構，存在這樣一種圖結構生成方式：如果用戶 看過電影，且 和相似，那么用戶 可能對感興趣即和節點存在潛在邊。上述潛在的圖結構可以分兩步構建：得到特征相似的節點對（找到相似的電影 和），隨后用拓撲結構傳播（通過 的觀影歷史得到可能感興趣的電影）。HGSL 也通過上述兩步過程來得到特征傳播圖。

3.2 語義圖生成器

根據HIN的高階拓撲結構生成語義圖，描述了兩個節點之間的多跳結構交互。值得注意的是，在異構圖中，這些高階關系因元路徑決定的不同語義而彼此不同。基于此，我們提出從不同的語義中學習語義圖結構。

4 實驗

數據集：
DBLP
ACM
Yelp

Baseline
4個同構圖嵌入方法：DeepWalk、GCN、GAT、GraphSage
4個異構圖嵌入方法：MP2Vec、HAN、HeGAN、GTN
3個圖結構學習相關方法：LDS、Pro-GNN、Geom-GCN

節點分類結果

消融實驗

參數分析

5 結論

在本文中，我們首次嘗試研究了面向神經網絡的異構圖結構學習，并提出了一個名為HGSL的框架，該框架將異構圖結構和神經網絡參數結合起來學習分類目標。特別地，通過利用異構圖內部的復雜交互，生成并融合特征相似圖、特征傳播圖和語義圖，以學習用于分類的最優異構圖結構。進行了大量的實驗，包括節點分類、消融研究和模型分析，很好地證明了該框架的有效性。

---

總結

本文還是比較有創新性的，首次研究了異構圖結構學習

總結

以上是生活随笔為你收集整理的【论文解读|AAAI2021】HGSL - Heterogeneous Graph Structure Learning for Graph Neural Networks 图神经网络的异构图结构学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。