UA MATH567 高維統計IV Lipschitz組合8 隨機投影與John-Lindenstrauss引理

• • John-Lindenstrauss引理
  • Random Projection

John-Lindenstrauss引理

這一講我們介紹一個Lipschitz函數法處理隨機向量的技術的應用。假設在一個機器學習問題中，我們有$N$個樣本，每個樣本有$n$個feature，但是$n$非常大，直接用這么多feature訓練模型不但浪費算力而且影響模型精度，所以我們想做一個投影$P$，把這組$n$維的feature投影到一個$m$維的子空間，我們希望投影前后任意兩個樣本點的差別不會被放大或者縮小，用數學來描述就是假設$x,y$這兩個$n$維向量分別表示一個樣本，則給定一個很小的正數$?$，使得
$$(1??){\Vert x?y\Vert }_2\le {\Vert Px?Py\Vert }_2\le (1+?){\Vert x?y\Vert }_2$$

其中$Px,Py\in {\mathbb{R}}^m$，站在理論機器學習研究者的角度，我們比較關心的一個問題是最小能把feature的維數壓縮到多少？J-L引理認為基于Haar測度的隨機投影下最小的維數是$O(\ln N)$。

---

John-Lindenstrauss引理
用$\mathcal{X}$表示$N$個樣本，$\mathcal{X}?{\mathbb{R}}^n$，$??>0$，$?C>0$, $?m\ge (C/{?}^2)\log N$，如果$E～Unif(G_{n,m})$，存在random projection
$$Q=\sqrt{\frac{n}{m}}{P}_E$$

使得下面的事件概率不小于$1?2e^{?c{?}^{2}m}$：
$$(1??){\Vert x?y\Vert }_2\le {\Vert Qx?Qy\Vert }_2\le (1+?){\Vert x?y\Vert }_2$$

也就是approximate isometry成立。關于Grassman流形上的均勻分布$Unif(G_{n,m})$可以參考上一講。

Random Projection

在分析J-L引理前，我們先了解一下隨機投影。

引理：隨機投影的性質
假設$P$是從${\mathbb{R}}^n$到$E$上的投影，其中$E～Unif(G_{n,m})$，則$?z\in \mathbb{R},?>0$，

$\sqrt{E{\Vert Pz\Vert }_2^2}=\sqrt{\frac{m}{n}}{\Vert z\Vert }_2$

with probability at least $1?2e^{?c{?}^{2}m}$, $$(1??)\sqrt{\frac{m}{n}}{\Vert z\Vert }_2\le {\Vert Pz\Vert }_2\le \sqrt{\frac{m}{n}}(1+?){\Vert z\Vert }_2$$

評注
基于這個引理，要說明J-L引理是非常容易的。定義$$\mathcal{X}?\mathcal{X}=\{x?y:x,y\in \mathcal{X}\}$$

$?z\in \mathcal{X}?\mathcal{X}$，with probability at least $1?2e^{?c{?}^{2}m}$, $$(1??)\sqrt{\frac{m}{n}}{\Vert z\Vert }_2\le {\Vert Pz\Vert }_2\le \sqrt{\frac{m}{n}}(1+?){\Vert z\Vert }_2$$

定義$Q=\sqrt{\frac{n}{m}}P$，則
$$(1??){\Vert z\Vert }_2\le {\Vert Qz\Vert }_2\le (1+?){\Vert z\Vert }_2$$

要對所有的$z$都成立，則對應的概率至少為
$$1?2|\mathcal{X}?\mathcal{X}|e^{?c{?}^{2}m}\ge 1?2N^2{e}^{?c{?}^{2}m}=1?2e^{\ln N^2?c{?}^{2}m}$$

如果$m\ge (C/{?}^2)\log N$，則
$$1?2e^{\ln N^2?c{?}^{2}m}\ge 1?2e^{(2/C?c){?}^{2}m}$$

換一個常數就是J-L的形式了。

證明
不妨設${\Vert z\Vert }_2=1$，我們要討論的是$z$為確定的向量，$P$是一個隨機投影（with Haar measure），第一條性質要解決的是期望，它等價于把$z$當作$S^{n?1}$上的均勻分布，把$P$當成一個確定的投影，甚至為了簡單起見，假設$P$就是一個coordinate map，也就是除了前$m$個坐標外，其他坐標都是0，則$$E{\Vert Pz\Vert }_2^2=E\sum _{i=1}^m{Z}_i^2=\frac{m}{n}$$

定義$f(x)={\Vert Px\Vert }_2$，這是一個Lipschitz范數為1的Lipschitz函數，于是
$$\frac{|f(x)?f(y)|}{{\Vert x?y\Vert }_2}=\frac{|{\Vert Px\Vert }_2?{\Vert Py\Vert }_2|}{{\Vert x?y\Vert }_2}\le \frac{{\Vert P(x?y)\Vert }_2}{{\Vert x?y\Vert }_2}\le 1$$

因為球面分布的Lipschitz函數是亞高斯的，于是
$$P(|{\Vert PX\Vert }_2?E{\Vert PX\Vert }_2|\ge t)\le 2e^{?cn{t}^2}$$

這里指數上有個$n$是因為這個分布是$S^{n?1}$，相比$\sqrt{n}{S}^{n?1}$少了一個scalar，所以在指數上添一個$(\sqrt{n}{)}^2$，另外就是在證明這個結果的時候我們用的是$f(X)?M$是亞高斯的，然后根據centering技巧得到$f(X)?Ef(X)$，這里可以用另一個centering技巧，即$f(X)?\sqrt{Ef(X{)}^2}$也是亞高斯的(事實上可以用任意Lp范數)，于是
$$P(|{\Vert PX\Vert }_2?\sqrt{E{\Vert PX\Vert }_2^2}|\ge t)\le 2e^{?cn{t}^2}$$

取$t=?\sqrt{m/n}$，引理得證。

總結

以上是生活随笔為你收集整理的UA MATH567 高维统计IV Lipschitz组合8 随机投影与John-Lindenstrauss引理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。