UA MATH567 高維統(tǒng)計(jì)IV Lipschitz組合11 社區(qū)發(fā)現(xiàn) Spectral Clustering容許的最大隨機(jī)噪聲

• • 社區(qū)發(fā)現(xiàn)的Spectral Clustering算法復(fù)習(xí)
  • 用矩陣Bernstein不等式推導(dǎo)Spectral Clustering的理論性質(zhì)

社區(qū)發(fā)現(xiàn)的Spectral Clustering算法復(fù)習(xí)

我們?cè)谏弦徊糠纸榻B隨機(jī)矩陣的時(shí)候介紹了stochastic blocking model以及community detection的spectral clustering算法。

假設(shè)這個(gè)網(wǎng)絡(luò)有$n$個(gè)節(jié)點(diǎn)，網(wǎng)絡(luò)中有兩個(gè)社區(qū)，它們的規(guī)模相當(dāng)，各擁有$n/2$個(gè)節(jié)點(diǎn)，記這兩個(gè)社區(qū)為$C_1,C_2$，我們用$G(n,p,q)$表示這個(gè)隨機(jī)網(wǎng)絡(luò)，其中$p$表示某條邊連接的兩個(gè)點(diǎn)屬于同一個(gè)社區(qū)的概率，$q$表示某條邊連接的兩個(gè)點(diǎn)屬于不同社區(qū)的概率，假設(shè)$p>q$，用$A$表示這個(gè)網(wǎng)絡(luò)的伴隨矩陣，顯然它是一個(gè)隨機(jī)矩陣，
$$\begin{gathered} P(A_{ij}=1|i,j\in C_{1}ori,j\in C_2)=p \\ P(A_{ij}=1|i\in C_1,j\in C_{2}ori\in C_2,j\in C_1)=q \end{gathered}$$

我們可以將$A$分解為它的期望與殘差矩陣：
$$A=E[A]+R$$

Community detection in networks的目標(biāo)是給定一個(gè)某個(gè)隨機(jī)矩陣的樣本數(shù)據(jù)集，要還原隨機(jī)矩陣的期望的特征向量，下面是Spectral clustering的算法描述：

我們?cè)谏喜糠值诎酥v用Davis-Kahan定理說明了它的理論性質(zhì)：考慮隨機(jī)網(wǎng)絡(luò)$G(n,p,q)$，如果$\min (q,p?q)=\mu >0$，則$?c>0$，Spectral Clustering最多搞錯(cuò)$c/{\mu }^2$個(gè)節(jié)點(diǎn)的概率至少是$1?4e^{?n}$。這個(gè)結(jié)論的條件是
$$\Vert D\Vert ～n,P(\Vert R\Vert =O(\sqrt{n}))\ge 1?4e^{?n}$$

---

用矩陣Bernstein不等式推導(dǎo)Spectral Clustering的理論性質(zhì)

注意到$\Vert D\Vert =(p+q)n/2\ge \mu n$，所以之前得到的結(jié)果需要的條件是
$$\mu n>>O(\sqrt{n})$$

也就是$\Vert D\Vert >>n$，但是用矩陣Bernstein不等式，我們可以把這個(gè)條件弱化為$\Vert D\Vert >>\log n$。

記$d=\Vert D\Vert$，定義$A={\sum }_{1\le i<j\le n}{Z}_{ij}$，其中$Z_{ij}$是$n\times n$的矩陣，除了$(i,j)$與$(j,i)$這兩個(gè)位置為Bernoulli變量外，其他位置均為0，我們可以說明
$$E\Vert R\Vert =E\Vert A?EA\Vert ?\sqrt{d\log n}+\log n$$

證明思路
$$R=A?EA=\sum _{1\le i<j\le n}(Z_{ij}?E{Z}_{ij})$$

這里的$Z_{ij}?E{Z}_{ij}$是有界（算子范數(shù)小于1）、獨(dú)立、零均值、對(duì)稱的隨機(jī)變量，計(jì)算
$${\sigma }^2=\Vert \sum E(Z_{ij}?E{Z}_{ij}{)}^2\Vert \approx d$$

根據(jù)矩陣Bernstein不等式的推論

$$E\Vert R\Vert ?\sigma \sqrt{\log n}+\log n$$

總結(jié)

以上是生活随笔為你收集整理的UA MATH567 高维统计IV Lipschitz组合11 社区发现 Spectral Clustering容许的最大随机噪声的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。