1. 1 為什么使用RPCA?

求解被高幅度尖銳噪聲而不是高斯分布噪聲污染的信號分離問題。

1.2 ?主要問題

給定C = A*+B*, 其中A*是稀疏的尖銳噪聲矩陣，B* 是低秩矩陣, 目的是從C中恢復B*.

B*= UΣV’, 其中U∈R^n*k?,Σ∈R^k*k?,V∈R^n*k

3. 與PCA的區別

PCA和RPCA 的目的都是矩陣分解, 然而,

對于PCA, M = L0+N0,????L0:低秩矩陣 ; N0: 小的idd Gaussian噪聲矩陣, 通過最小化||M-L0||_{2 ?}且滿足條件rank(L0)<=k來搜索L0的最好秩k估計.通過SVD可以解決這個問題.

對于RPCA, M = L0+S0,?L0:低秩矩陣 ; S0: 稀疏尖峰噪聲矩陣,?接下來將給出具體的求解過程.

2. 正確分解的條件

4. 病態問題:

假設稀疏矩陣A*?和B*=e_ie_j^T?是分解問題的解.

1) 假設B* 不僅低秩而且稀疏, 可找到另一個稀疏加低秩分解A₁= A*+?e_ie_j^T?和B₁?= 0, 因此, 我們需要對低秩有一個合理的認識確保B* 不是太稀疏. 稍后附加條件需要由奇異向量U和V所張成的空間 (也就是B*的行列空間)與標準基“不連貫” 。

2) ?相似地, 假設A* 是稀疏且低秩的 (例如A*的第一列非零, 其他列為0, 則 A* 秩為1且是稀疏的). 可找到另一個有效的分解 A₂=0,B₂?= A*+B* (這里秩(B₂) <= 秩(B*) + 1). 因此我們需要限制稀疏矩陣不應該是低秩的.即, 假設每一行/列不應該有太多的非零元素 (不存在稠密的行/列), 避免這種情況發生.

5. ?正確恢復/分解的條件:

如果A* 和B* 來自于這些類時, 則可以高概率獲得精確恢復[1].

1) ?對于低秩矩陣L---隨機正交模型[Candes andRecht 2008]:

以如下方式構建秩為k的矩陣B* 其SVD分解為B*=UΣV’ : 奇異向量U,V∈R^n*k?來自于對R^n*k?中秩k偏等距算子的簡單隨機抽樣. U和V的奇異向量不需要相互獨立. 對奇異值無任何約束.

2) 對于稀疏矩陣S---隨機稀疏模型:

矩陣A* 使得支撐(A*) 隨機等可能地采樣于尺度m的所有支撐集合中. There is no assumption made about the values of A* at locations specified by support(A*).

[Support(M)]: M中非零元素的位置

Latest?[2]?improved on the conditions and yields the ‘best’ condition.

?

3. 恢復算法

6.?????Formulization

對于分解D = A+E,其中A是低秩誤差E是稀疏的.

1) ?憑直覺提出

min rank(A)+γ||E||₀,??? (1)

然而這時非凸的，因此難于處理 (兩者是NP-hard需要近似處理).

2) ?放松條件L0-范數至L1范數，用核范數代替秩

min||A||_*?+ λ||E||₁,

where||A||_*?=Σ_iσ_i(A)?? (2)

這是凸的, 也就是存在唯一的最小值解.

理由: 注意到||A||_*?+ λ||E||_{1 ? ?是rank(A)+γ||E||0?在滿足條件max(||A||2,2,||E||1, ∞)≤1上的集合(A,E)?的凸包}.

此外, there might be circumstances under which (2) perfectly recovers low-rank matrix A₀.[3] shows it is indeed true under surprising broad conditions.

?

7.???求解RPCA 的優化算法

采用兩種不同的方法求解. 第一種方法, 直接使用一階方法求解鄰近問題.?(E.g. 鄰近梯度, 加速鄰近梯度(APG)), 每一次迭代的計算瓶頸是一個SVD計算.第二種方法是將問題轉換為對偶問題求解, 從對偶優化解中重新得到鄰近解.?RPCA的對偶問題為:

max_Ytrace(D^TY) , subject to J(Y) ≤ 1

其中J(Y) = max(||Y||₂,λ^-1||Y||_∞). ||A||_x?指A的x范數.(無窮范數表示矩陣中絕對值最大的一個)。這個對偶問題可通過約束最速上升法求解.

現在討論增廣拉格朗日乘子法 (ALM)和交替方向法(ADM)?[2,4].

7.1. ALM的一般方法

對于優化問題

min f(X), subj. h(X)=0?????(3)

定義拉格朗日函數:

L(X,Y,μ) = f(X)+<Y, h(x)>+μ/2||h(X)||_?F²? ?????(4)

其中Y是拉格朗日乘子，μ 是正標量.

ALM的一般方法:

廣義拉格朗日乘子算法通過重復令(X_k) = arg min L(X_k,Y_k,μ)求解主成分追蹤(principle component pursuit) ?，則拉格朗日乘子矩陣Y_k+1=Y_k+μ(h_k(X))

?

7.2 ?求解RPCA的ALM算法

在RPCA, 定義(5)式為

X = (A,E), f(x) = ||A||_*?+ λ||E||₁, h(X) = D-A-E

則拉格朗日函數(6)

L(A,E,Y, μ) = ||A||_*?+ λ||E||₁+ <Y, D-A-E>+μ/2·|| D-A-E ||_?F^?2

優化過程與廣義ALM算法相同. 受對偶問題的啟示，令Y的初始值為?Y= Y₀*?，因為這可能使得目標函數值<D,Y₀*>?在合理的條件下較大.

定理1.? 算法4中,?? (A_k*, E_k*)的任何累積點(A*,E*)都是RPCA問題的最優解，收斂率至少為O(μ_k^-1).[5]

在這個RPCA算法中, 采用了一個迭代策略. 當優化過程緩慢時，利用了兩個等式: (7)、(8)

Sε[W] = arg min_X?ε||X||₁+ ?||X-W||_F^{2 ? ? ? （7）}

U Sε[W] V^T?= arg min_X?ε||X||_*+?||X-W||_F^{2 ? ? ? ?（8）}

在上述算法中為了優化一個參數而固定另一個. 其中Sε[W] 是軟閾值算子.?

BTW,S_u(x) is easily implemented by 2 lines:

S_u(X)= max(x-u , 0);

S_u(X)= S_u(X) + min(X+u , 0);

?

?

?

Now we utilize formulation (7,8) into RPCA problem.

For the objective function (6) w.r.t get optimal E, we can rewrite the objective function by deleting unrelated component into:

f(E) = λ||E||₁+ <Y, D-A-E> +μ/2·|| D-A-E||_?F^?2

? ? ? ?=λ||E||₁+ <Y, D-A-E> +μ/2·||D-A-E ||_?F^?2+(μ/2)||μ^-1Y||²?//add an irrelevant item w.r.t E

? ? ? ?=λ||E||₁+(μ/2)(2(μ^-1Y· (D-A-E))+|| D-A-E ||_?F^?2+||μ^-1Y||²)?//try to transform into (7)’s form

? ? ? ?=(λ/μ)||E||1+?||E-(D-A-μ^-1Y)||_F²

Finally we get the form of (7) and in the optimizationstep of E, we have

E = S_λ/μ[D-A-μ^-1Y]

,same as what mentioned in algorithm 4.

Similarly, for matrices X, we can prove?A=US_1/μ(D-E-μ^-1Y)V?is the optimization process of A.

?

?

8. Experiments?

?Here I've tested on a video data. This data is achieved from a fixed point camera and the scene is same at most time, thus the active variance part can be regarded as error E and the stationary/invariant part serves as low rank matrix A. The following picture shows the result. As the person walks in, error matrix has its value.?The 2 subplots below represent low rank matrix and sparse one respectively.?

?

9.?????Reference:

1)???????E. J. Candes and B. Recht. Exact Matrix Completion Via ConvexOptimization. Submitted for publication, 2008.

2)???????E. J. Candes, X. Li, Y. Ma, and J. Wright. Robust PrincipalComponent Analysis Submitted for publication, 2009.

3)???????Wright, J., Ganesh, A., Rao, S., Peng, Y., Ma, Y.: Robustprincipal component analysis: Exact recovery of corrupted low-rank matrices viaconvex optimization. In: NIPS 2009.

4)???????X. Yuan and J. Yang. Sparse and low-rank matrix decompositionvia alternating direction methods. preprint, 2009.

5)???????Z. Lin, M. Chen, L. Wu, and Y. Ma. The augmented Lagrangemultiplier method for exact recovery of a corrupted low-rank matrices.Mathematical Programming, submitted, 2009.

6)???????Generalized?Power?method?for?Sparse?Principal?Component?Analysis

總結

以上是生活随笔為你收集整理的RPCA（续）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。