UA MATH567 高維統計III 隨機矩陣8 社區發現 Spectral Clustering的理論分析

上一講我們完成了Stochastic Block Model與社區發現問題的建模，并描述了目標：Community detection in networks的目標是給定一個某個隨機矩陣的樣本數據集，要還原隨機矩陣的期望的特征向量。同時我們明確了算法分析的基本方法是攝動方法，這里描述一個大致思路：

我們對社區發現算法進行理論分析的目的是說明這樣的算法能夠提供一個一致的、誤差可以被控制的輸出，也就是要說明算法還原出來的特征向量（算法輸出）與隨機矩陣期望的特征向量（理論結果）之差的范數足夠小，在理論分析的時候，我們可以認為算法與理論的區別在于算法計算特征向量時用的是帶噪聲的數據，因此我們需要能分析矩陣噪聲對特征值的影響的工具，于是我們選擇了攝動方法。

---

Davis-Kahan定理 假設$S,T$是對稱矩陣，假設${\min }_{j=i}|{\lambda }_i(S)?{\lambda }_j(S)|=\delta >0$，用$v_i(S)$表示矩陣$S$的第$i$個特征值對應的標準化的特征向量，用${\theta }_i(S,T)$表示矩陣$S,T$的第$i$個特征值對應的特征向量形成的夾角，則
$$\sin {\theta }_i(S,T)\le \frac{2\Vert S?T\Vert }{\delta }$$

評注
i) 雖然這個結果看起來只能說明當$S,T$兩個矩陣相差不大時，它們的特征向量的夾角也不大，但我們可以進一步得到它們特征向量之差的范數的結果：

因為${\theta }_i(S,T)\in [0,\pi /2]$，于是
$$1\le \frac{{\Vert v_i(S)?v_i(T)\Vert }_2}{\sin {\theta }_i(S,T)}\le \sqrt{2}$$

所以
$${\Vert v_i(S)?v_i(T)\Vert }_2\le \frac{2\sqrt{2}\Vert S?T\Vert }{\delta }$$

---

Spectral Clustering
假設我們使用Spectral Clustering來做Community detection in networks，根據上一講的簡單分析：

如果$A$表示一個隨機網絡，計算它的$v_2(A)$，則$v_2(A)$的某個元素的符號表示對應節點所屬的社區。

定理 考慮隨機網絡$G(n,p,q)$，如果$\min (q,p?q)=\mu >0$，則$?c>0$，Spectral Clustering最多搞錯$c/{\mu }^2$個節點的概率至少是$1?4e^{?n}$。

證明
用$A$表示這個隨機網絡的伴隨矩陣，做分解
$$A=D+R$$

其中$D$是一個不含隨機性的矩陣，$rankD=2$, $\Vert D\Vert ={\lambda }_1=\frac{(p+q)n}{2}$并且${\lambda }_2=\frac{(p?q)n}{2}$；$$P(\Vert R\Vert \le 2CK\sqrt{n})\ge 1?4e^{?n}$$

記$\delta =\min ({\lambda }_1?{\lambda }_2,{\lambda }_2)=n\mu >0$，于是我們可以使用Davis-Kahan定理以及上面這個概率不等式：$?C^{\prime }>0$
$${\Vert v_2(D)?v_2(A)\Vert }_2\le \frac{2\sqrt{2}{C}^{\prime }\sqrt{n}}{\mu n}$$

這個不等式成立的概率是$1?e^{?4n}$，要考慮搞錯的節點個數，需要考慮$\sqrt{n}$乘以特征向量，于是
$$\begin{gathered} \sqrt{n}{\Vert v_2(D)?v_2(A)\Vert }_2\le \frac{2\sqrt{2}{C}^{\prime }}{\mu } \\ \sqrt{n}{\Vert v_2(D)?v_2(A)\Vert }_2^2\le \frac{8C^{\prime 2}}{{\mu }^2} \end{gathered}$$

記$c=8C^{\prime 2}$，則定理得證。

總結

以上是生活随笔為你收集整理的UA MATH567 高维统计III 随机矩阵8 社区发现 Spectral Clustering的理论分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。