UA MATH567 高維統計專題1 稀疏信號及其恢復1 L0-norm minimization

• • $L^0$-norm
  • $L_0$-norm minimization
  • • Exhaustive Search
    • $L_0$-norm minimization的性質
    • $L_0$-norm minimization是NP-hard問題

這個專題我們討論sparse signal recovery，作為這個專題的開頭，我們先簡單介紹一下sparse vector的norm；熟悉DSP的同學應該比較清楚，用vector和matrix來表示signal是非常常規的操作，那么sparse signal用sparse vector來表示就非常合理，之所以要從sparse vector的norm開始討論是因為我們需要去理解一個很長的sparse vector的結構，并以此設計一些更高效的算法。

下圖摘自Wright, Ma的高維數據分析圖2.6

$L^p$-norm是我們高維數據中最常用的范數，
$${\Vert x\Vert }_p={\left(\sum _{i=1}^n|x_i{|}^p\right)}^{1/p}$$

如果$p\ge 1$，則上面的定義是范數；如果$0<p<1$，則上式不滿足范數公理化定義中的三角不等式，無法成為范數，如果需要三角不等式，則可以用下面這個定義
$$\sum _{i=1}^n|x_i{|}^p$$

但這個定義不滿足正齊次性。從上圖可以看出，當$p$減小時，$L^p$-ball中的vector被shrink得越厲害，對應在sparse signal的設定中，noise就會被shrink掉，而signal得以保留。因此我們總是希望被復原的signal的范數（$p$越小的范數越好）不大于某一個閾值。

$L^0$-norm

最小可能的$p$為0，按上面的分析$L^0$-norm就是最好用的，直觀理解$L^0$-norm就是向量中不為0的元素個數
$${\Vert x\Vert }_0=\#\{i:x_i=0\}$$

但是雖然叫$L^0$-norm，但它本身并不是一個范數，因為它不滿足正齊次性：
$$?c\in \mathbb{R},{\Vert cx\Vert }_0={\Vert x\Vert }_0=c{\Vert x\Vert }_0$$

所以盡管它滿足三角不等式，它也不是一個范數。

之所以我們稱之為范數，并把它歸為$L^p$-norm這一類，是因為
$$\underset{p\to 0}{\lim }{\Vert x\Vert }_p^p=\underset{p\to 0}{\lim }\sum _{i=1}^n|x_i{|}^p=\sum _{i=1}^n\underset{p\to 0}{\lim }|x_i{|}^p=\sum _{i=1}^n{1}_{x_i=0}={\Vert x\Vert }_0$$

$L_0$-norm minimization

我們先不考慮隨機性，假設$y$是我們對稀疏信號的測量，$y=A{x}_o$；討論最簡單的問題，即測量方程中的系數$A$已知，我們的目標是從測量中還原出信號$x_o$，一種可行的操作是在$y=Ax$的解集中找到最稀疏的向量，以此作為sparse signal的估計，用優化表示，我們要求解的問題是：
$$\begin{gathered} \min {\Vert x\Vert }_0 \\ s.t.y=Ax \end{gathered}$$

Exhaustive Search

引入$x$的支撐集$supp(x)=\{i:x_i=0\}?\{1,?,n\}$，則$L_0$-norm minimization的目標是找到$y=Ax$的解集中支撐集最小的解；比較粗放的想法是考慮$\{1,?,n\}$的所有子集，記為$I$，對每一個子集$I$，我們求解
$$A_I{x}_I=y$$

這里的$A_I$表示在$A$中把$I$對應的那幾列選出來形成的子矩陣，把$x_I$解出來后填入$I$的對應位置，其他位置填0，這樣形成一個可行解，把所有的這些可行解比較得到的支撐集最小的那個就是$L_0$-norm minimization的解：

$L_0$-norm minimization的性質

上面的Exhaustive Search有一個非常有趣的理論性質：當${\Vert x_o\Vert }_0$不太大時，Exhaustive Search的解一定是$x_o$。更嚴謹的敘述需要引入Kruskal rank：記$krank(A)$為矩陣$A$的Kruskal rank，任意$krank(A)$個$A$的列向量線性無關，但存在$krank(A)+1$個$A$的列向量線性無關。

定理($L^0$ Recovery) 假設$y=A{x}_o$，并且${\Vert x_o\Vert }_0\le \frac{1}{2}krank(A)$，則$x_o$是$L_0$-norm minimization的唯一解。

評述 這個定理說明當$x_o$足夠sparse的時候（${\Vert x_o\Vert }_0\le \frac{1}{2}krank(A)$），$L_0$-norm minimization可以把$x_o$準確還原出來。

$L_0$-norm minimization失效的情況：不妨假設$\hat{x}$是$L_0$-norm minimization的解，如果$?x_o\in null(A),{\Vert x_o\Vert }_0=k$，此時$y=A{x}_o=0$，求解$L_0$-norm minimization得到的結果一定是$\hat{x}=0$，這個推理說明$A$的核空間存在非零的稀疏矩陣時，$L_0$-norm minimization失效。

避免$L_0$-norm minimization失效引入假設：
$$\{\delta \in null(A):{\Vert \delta \Vert }_0\le 2k\}=\{0\}$$

其中$k\ge {\Vert x_o\Vert }_0$；簡單解釋一下這個假設取$2k$的原因，因為$\hat{x}$是$L_0$-norm minimization的解，所以${\Vert \hat{x}\Vert }_0\le {\Vert x_o\Vert }_0\le k$，用$\delta$表示$L_0$-norm minimization的估計誤差，即$\delta =\hat{x}?x_o$，用三角不等式
$${\Vert \delta \Vert }_0={\Vert \hat{x}?x_o\Vert }_0\le {\Vert \hat{x}\Vert }_0+{\Vert x_o\Vert }_0\le 2k$$

另外$A\delta =A(x?x_o)=y?y=0$，所以$\delta \in null(A)$；了解到這些之后我們可以發現，如果上面的假設成立，那么$\hat{x}=x_o$。

假設與矩陣$A$的聯系：上面的假設主要約束的是$A$的核空間，那些核空間沒有sparse vector的$A$才是好的$A$，才能得到準確的signal recovery；這個假設可以用$A$的列向量重新敘述，$$\{\delta \in null(A):{\Vert \delta \Vert }_0\le 2k\}=\{0\}$$成立的條件是$A$的任意$2k$個列向量線性無關，用Kruskal rank表示就是
$$krank(A)\ge 2k\ge 2{\Vert x_o\Vert }_0$$

這就是定理的結果。

$L_0$-norm minimization是NP-hard問題

用$P$表示多項式時間內可以求解的問題，$NP$表示多項式時間內可以驗證某個解是否正確的問題；NP可以在多項式時間內化歸成NP-complete問題，一個很重要的猜想是$P=NP$（右圖）；NP-hard不一定能在多項式時間內被驗證，是至少與NP-complete一樣困難的問題。

定理 $L^0$-norm minimization是NP-hard問題。
評述
說明某一個問題是NP-hard問題只需要找到一個已知的NP-hard問題，然后說明這個問題與已知的NP-hard問題等價即可。

Exact 3-set Cover (E3C)：$S=\{1,?,m\}$，$\mathcal{C}=\{U_1,?,U_n\}$，$U_j?S$，$|U_j|=3$，是否存在${\mathcal{C}}^{\prime }?\mathcal{C}$，使得${\mathcal{C}}^{\prime }$覆蓋$S$，也就是$?i\in S,?!U\in {\mathcal{C}}^{\prime },i\in U$。

E3C是一個公認的NP-hard的問題，我們可以證明$L^0$-norm minimization與E3C等價。

證明
假設矩陣$A\in \{0,1{\}}^{m\times n}$，使得$A_{ij}=1_{i\in U_j}$，取$y=1$，則$Ax=y$有稀疏解$x_o$, ${\Vert x_o\Vert }_0\le m/3$的充要條件是存在Exact 3-set Cover；

$?$: 假設存在Exact 3-set Cover ${\mathcal{C}}^{\prime }$，顯然$|{\mathcal{C}}^{\prime }|=m/3$，定義$x=(x_1,?,n{)}^{\prime },x_j=1_{U_j\in {\mathcal{C}}^{\prime }}$，則$y=Ax$并且${\Vert x\Vert }_0\le m/3$；

$?$: 假設$y=A{x}_o,{\Vert x_o\Vert }_0\le m/3$，定義${\mathcal{C}}^{\prime }=\{U_j:x_o(j)=0\}$，則${\mathcal{C}}^{\prime }$是Exact 3-set Cover。因為${\Vert x_o\Vert }_0\le m/3$，所以$A$的列向量有$3$個非零元素，定義$I=supp(x_o)$，$A_I$至多有$m/3$列，并且至多有$m$個非零元素；又因為$A_I{x}_{oI}=y$，所以$A_I$的每一行至少有一個非零元。綜上，$A_I$每一行恰好有一個非零元，所以${\mathcal{C}}^{\prime }$是Exact 3-set Cover。

總結

以上是生活随笔為你收集整理的UA MATH567 高维统计专题1 稀疏信号及其恢复1 L0-norm minimization的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。