文章目錄

• 論文信息
• 摘要
• 主要內容
• 問題定義
• • 動態網絡(Dynamic Networks)
  • 動態網絡中的網絡鏈接預測
• GC-LSTM
• • 編碼器（Encoder）
  • 解碼器（Decoder）
  • 損失函數與模型訓練

論文信息

GC-LSTM: graph convolution embedded LSTM for dynamic networklink prediction

原文地址：https://link.springer.com/article/10.1007/s10489-021-02518-9

摘要

Dynamic network link prediction is becoming a hot topic in network science, due to its wide applications in biology, sociology, economy and industry. However, it is a challenge since network structure evolves with time, making long-term prediction of adding/deleting links especially difficult. Inspired by the great success of deep learning frameworks, especially the convolution neural network (CNN) and long short-term memory (LSTM) network, we propose a novel end-to-end model with a Graph Convolution Network(GCN) embedded LSTM, named GC-LSTM, for dynamic network link prediction. Thereinto, LSTM is adopted as the main framework to learn the temporal features of all snapshots of a dynamic network. While for each snapshot, GCN is applied to capture the local structural properties of nodes as well as the relationship between them. One benefit is that our GC-LSTM can predict both added and removed links, making it more practical in reality, while most existing dynamic link prediction methods can only handle removed links. Extensive experiments demonstrated that GC-LSTM achieves outstanding performance and outperforms existing state-of-the-art methods.

動態網絡鏈接預測由于其在生物學、社會學、經濟學和工業界的廣泛應用，正成為網絡科學的研究熱點。然而，這是一個挑戰，因為網絡結構隨著時間的推移而演變，使得添加/刪除鏈接的長期預測特別困難。受深度學習框架，特別是卷積神經網絡( CNN )和長短時記憶( LSTM )網絡的巨大成功的啟發，我們提出了一種新的端到端模型，將圖卷積網絡( GCN )嵌入LSTM，命名為GC - LSTM，用于動態網絡鏈接預測。其中，LSTM被用作學習動態網絡所有快照的時間特征的主要框架。而對于每個快照，GCN被用來捕獲節點的局部結構屬性以及它們之間的關系。一個好處是我們的GC - LSTM可以同時預測添加和刪除的鏈接，使其在現實中更具實用性，而大多數現有的動態鏈接預測方法只能處理刪除的鏈接。大量實驗表明，GC-LSTM取得了出色的性能，并優于現有的最先進的方法。

主要內容

對于動態網絡鏈接預測，提出一種新穎的端到端深度學習模型，命名為GC - LSTM，通過圖卷積提取每個快照網絡的結構特征，通過LSTM學習時序結構。這個模型可以高效的學習時空特征，對動態網絡進行精確預測。

現有的大多數方法只能預測網絡中增加的鏈接，而該方法可以預測所有即將出現、消失或不變的鏈接，從而得到整個動態網絡演化的準確預測。

進行了大量的實驗來驗證GC - LSTM在動態網絡上的有效性，并與不同的基線方法進行比較。

問題定義

動態網絡(Dynamic Networks)

動態網絡可以表示為一系列離散的快照 {G₁, G₂, …, G_T}，其中G_t = (V, E_t, A_t)( t ∈ [1, T])表示 t 時刻的網絡。設V為所有節點的集合，E_t為固定時間跨度[ t - τ , t]內的時態鏈路。A_t表示G_t的鄰接矩陣，如果i和j之間存在鏈接A_t ( i , j) = 1，，否則A_t ( i , j) = 0。

在靜態網絡中，網絡鏈路預測問題一般旨在通過當前網絡預測未被觀測到的或未來的鏈路。靜態鏈接預測方法主要關注網絡的結構特征。與靜態網絡鏈接預測不同，動態網絡鏈接預測還需要根據以往快照的動態演化過程來學習網絡的時序特征。我們的目標是通過圖卷積提取每個快照網絡的結構特征，并通過LSTM學習時間結構。

動態網絡中的網絡鏈接預測

給定長度為T的一系列圖。動態網絡鏈接預測被作為結構序列建模問題考慮。它旨在學習前T個snapshot的演化信息來預測t時刻所有鏈路的概率。定義如下：

其中，表示前T個快照的鄰接矩陣，和分別是t時刻快照的真實鄰接矩陣和預測鄰接矩陣。

GC-LSTM

GC - LSTM由編碼器和解碼器組成，如下圖所示：

編碼器模型為GCN嵌入LSTM，利用GCN學習每個時刻快照的cell狀態c和隱藏狀態h的網絡結構，同時利用LSTM學習每個鏈路狀態的時序信息。解碼器是一個全連接層網絡，用于將提取的特征映射回原始空間。GC-LSTM將輸出預測網絡并以統一的方式實現網絡鏈路預測。

編碼器（Encoder）

使用提出的GC - LSTM模型作為編碼器，從結構序列數據中提取相應的時間和結構信息，最后時刻的隱含層向量h_t將作為GC - LSTM的輸出。

在動態網絡鏈接預測任務中，每個節點多次與其他節點的鏈接狀態(存在或不存在)可以看作一個時間序列，等價于鄰接矩陣中的行向量。

LSTM應用于捕捉時序數據的時序特征。因此，在GC - LSTM中，利用LSTM來解決長期依賴問題，并有效地學習動態圖的時間特征。動態網絡中每個節點的鏈路狀態可以使用LSTM來實現時序預測，比如預測下一時刻的鏈路。另一方面，需要利用節點先前的鏈路狀態信息，并考慮鄰居節點鏈路狀態的影響，以及網絡結構特性。GCN在網絡嵌入學習結構特征方面已經被證明是有效的。提出GC - LSTM模型，其中采用圖卷積( GCN )模型提取每一時刻快照的結構特征，LSTM學習動態網絡的時序特征。

在GC - LSTM模型中，第一步是決定哪些信息會從之前的cell狀態中丟棄。下一步是更新cell狀態。更新后的cell信息不僅可以保存長期信息，還可以有選擇地過濾掉一些無用的信息。最后，通過輸出門來實現輸出什么信息。

解碼器（Decoder）

為了輸出最終的預測網絡，我們使用全連接層網絡作為解碼器，將序列數據中上一時刻的隱藏向量h_t轉化為最終的概率矩陣：

損失函數與模型訓練

訓練整個GC - LSTM模型的目的是為了提高動態網絡鏈路預測的準確性，所以訓練的目的是使輸出概率矩陣在t時刻與鄰接矩陣更加相似。

在回歸預測問題中，L₂通常用來反映預測值與真實值之間的相似程度。

由于網絡的稀疏性，會導致預測結果偏向于零。為了在一定程度上避免這種過擬合，還使用了正則化項L_reg。

因此，訓練過程中的總損失定義為：

其中，β是權衡L₂和L_reg重要性的參數，最佳β將在模型訓練過程中找到。正則化損失L_reg通過計算GC - LSTM模型中所有權重的平方和來計算。并采用Adam作為我們模型的優化器。

總結

以上是生活随笔為你收集整理的【论文导读】-GCLSTM graph convolution embedded LSTM for dynamic network link prediction用于动态网络边预测的图卷积嵌入LSTM的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。