引子

圖像復原是圖像處理中最重要的任務之一，其包括圖像去噪、去模糊、圖像修復、超分辨等， 都是底層視覺中被廣泛研究的問題。實際中我們得到的圖像往往是退化后的圖像（如帶噪聲圖像、模糊圖像、被采樣的圖像等）：
$$y=D(x)$$
其中，$y$表示觀察到的退化圖像，$x$是原始圖像，$D(?)$是退化函數，往往是未知的，在實際的計算中，常常使用成像物理模型近似。
一般有poisson模型和高斯模型：
$$Gaussian：y=Kx+b$$
$$Poisson:$$

高斯是普通成像較為常見的模型，而熒光顯微成像領域，則$Poisson$更為適合，因為應用科研級相機，高斯噪聲很小，并且$Poisson$模型本身符合熒光成像。$Poisson$模型中$b$為背景而非$Gaussian$中$b$是噪聲。
當然還有$Gaussian和Poisson$混合噪聲模型。
圖像復原就是根據觀察到的退化圖像，估計原始未退化的圖像。這是一個病態問題，該問題的解往往不是唯一的。為了縮小問題的解空間，更好的逼近真實解，我們需要添加限制條件。這些限制條件來自自然圖像本身的特性,即自然圖像的先驗信息。如果能夠很好地利用自然圖像的先驗信息,就可以從退化的圖像上恢復原始圖像。

圖像復原

圖像復原任務通常表示成一個損失函數的形式：
$$x=argmi{n}_{x}f(x,y)+prior(x)$$
其中，$f(x,y)$表示數據保真項，使得估計出的原始圖像與退化圖像在內容上保持一致。$prior(x)$則表示先驗項，來自于自然圖像本身的特性。
這個損失函數可以從概率統計角度給予很好的解釋。根據最大后驗概率估計原理，對原始圖像的估計可以表示為：
$$maxP(x|y)=maxP(y|x)P(x)$$
其中，$P(y|x)$表示從原始圖像$x$得到退化圖像$y$的概率，$P(x)$表示圖像x的先驗概率。對上式取負對數，就可以得到圖像復原的損失函數了。

自然圖像先驗

借助于不同的自然圖像先驗信息，可以估計出不同的原始圖像。常用的自然圖像的先驗信息有自然圖像的局部平滑性、非局部自相似性、稀疏性等特征 。下面分別做簡單介紹。

局部平滑性

自然圖像相鄰像素點之間的像素值在一定程度上是連續變化的。從頻譜上觀察，自然圖像以低頻分量為主；從梯度直方圖上觀察，自然圖像梯度統計趨近于0。下圖為Lena圖的梯度直方圖：

基于自然圖像梯度統計的觀察，許多先驗條件都是針對圖像梯度設計的，如梯度的$L_2$范數約束、TV約束（梯度L1范數約束）、梯度$L_0$范數約束等等，都是非常常見的。最常見的應用就是在去噪上，也就是基于全局優化的濾波器的設計。
梯度$L_2$范數約束是基于梯度統計服從高斯分布得到的，大名鼎鼎的最小權重濾波（WLS）便是基于此設計的，但是對梯度的L2往往在抑制噪聲的過程中，將許多紋理也平滑掉了。TV約束是基于梯度統計服從拉普拉斯統計得到的，其對于噪聲魯棒性更好，對紋理細節的保留也優于$L_2$范數約束。梯度$L_0$范數約束比起TV約束更強調局部一致性（TV約束相較而言更強調局部平滑性）。除此之外，在圖像去模糊中，還常用到超拉普拉斯先驗，即認為梯度分布的范數在(0,1]之間，其更加符合對自然圖像梯度統計的描述。

先驗表示

$$梯度L_2范數prior(x)=\Vert ?{\Vert }_2^2$$
$$TV約束prior(x)=\Vert ?{\Vert }_1$$
$$梯度L_0約束prior(x)=\Vert ?{\Vert }_0$$
$$超拉普拉斯先驗prior(x)=\Vert ?{\Vert }_{\alpha },0<\alpha \le 1$$

$L_1、L_2$是最常用的先驗模型，所以以下對其展開描述：

$L_1、L_2$正則化來源推導

$L_1{L}_2$的推導可以從兩個角度：
1.帶約束條件的優化求解（拉格朗日乘子法）；
2.貝葉斯學派的：最大后驗概率；
實際上都差不多。

1.1 基于約束條件的最優化

對于模型權重系數$w$的求解釋通過最小化目標函數實現的，也就是求解：

首先，模型的復雜度可以用VC（Vapnik-Chervonenkis Dimension）來衡量。它反映了模型的學習能力，VC維越大，則模型的容量越大。通常情況下，模型VC維與系數w的個數成線性關系：即：w數量越多，VC越大，模型越復雜。

為了限制模型的復雜度，我們要降低VC，自然的思路就是降低w的數量，讓w向量中的一些元素為0或者說限制w中非零元素的個數。我們可以在原優化問題上加入一些優化條件：

其中約束條件中的$||w|{|}_0$是指$L_0$范數，表示的是向量w中非零元素的個數，讓非零元素的個數小于某一個C，就能有效地控制模型中的非零元素的個數，但是這是一個NP問題，不好解，于是我們需要做一定的“松弛”。為了達到我們想要的效果（權重向量w中盡可能少的非零項），我們不再嚴格要求某些權重w為0，而是要求權重w向量中某些維度的非零參數盡可能接近于0，盡可能的小，這里我們可以使用$L_1{L}_2$范數來代替$L_0$范數，即：

注意：這里使用$L_2$范數的時候，為了后續處理（其實就是為了優化），可以對進行平方，只需要調整C的取值即可。然后我們利用拉式乘子法求解：

其中這里的是拉格朗日系數，$\alpha >0$，我們假設的最優解為${\alpha }^{?}$，對拉格朗日函數求最小化等價于：

上面和

等價。所以我們這里得到對$L_1{L}_2$正則化的第一種理解：
$$L1正則化?在原優化目標函數中增加約束條件{\Vert w\Vert }_1\le C$$

$$L2正則化?在原優化目標函數中增加約束條件\Vert w\Vert {}_2^2\le C$$

1.1 基于最大后驗概率估計

在最大似然估計中，是假設權重w是未知的參數，從而求得對數似然函數（取了$log$）：

從上式子可以看出：假設$y^i$的不同概率分布，就可以得到不同的模型。

若我們假設：

的高斯分布，我們就可以帶入高斯分布的概率密度函數：

上面的C為常數項，常數項和系數不影響我們求解$max(l(w))$的解，所以我們可以令

我們就得到了$LinearRegursion$的代價函數。

在最大化后驗概率估計中，我們將權重w看做隨機變量，也具有某種分布，從而有：

同樣取對數：

可以看出來后驗概率函數為在似然函數的基礎上增加了$logP(w)，P（w）$的意義是對權重系數w的概率分布的先驗假設，在收集到訓練樣本$X，y$后，則可根據w在$X，y$下的后驗概率對w進行修正，從而做出對w的更好地估計。

若假設的先驗分布為0均值的高斯分布，即

則有：

可以看到，在高斯分布下

的效果等價于在代價函數中增加L2正則項。若假設服從均值為0，參數為a的拉普拉斯分布，即：

則有：

可以看到，在拉普拉斯分布下$logP(w)$的效果等價在代價函數中增加$L_1$正項。

故此，我們得到對于$L_1，L_2$正則化的第二種理解：

$L_1$正則化可通過假設權重w的先驗分布為拉普拉斯分布，由最大后驗概率估計導出。

$L_2$正則化可通過假設權重w的先驗分布為高斯分布，由最大后驗概率估計導出。

非局部相似性

在自然圖像的不同位置，存在相似的紋理，且許多自然圖像自身的紋理存在規律性。這說明自然圖像本身信息是冗余的，我們可以利用圖像的冗余信息對圖像缺失或被污染的部分進行修復。

利用圖像非局部相似性首先要找到圖像中相似的紋理，最常用的方法是塊匹配，即把圖像分解成一個一個的小塊，每個小塊看作是一個單元，在圖像中尋找與其相似的一個或多個小塊。最經典的塊匹配方法當然非Barnes的PatchMatch方法莫屬。比起一個小塊一個小塊去比對，PatchMatch提供了一種近似的方法可以快速找到相似塊。
現在主流的去噪方法和圖像修復方法都是基于圖像的非局部相似性。在去噪方面，非局部均值（non local mean，NLM）是利用非局部相似性去噪的開山之作。在此基礎上發展而來的BM3D是應用最廣泛，也是效果最好的去噪方法之一。關于這兩種方法的介紹可以參見這篇博客。后面在NLM基礎上也出現了一系列的改進方法，如將非局部相似性與低秩方法結合借來的WNNM，MCWNNM等去噪方法都取得了不錯的效果。
在圖像修復方面，塊匹配方法在單幀圖像缺失部分的修補方面占據了半壁江山。除此之外，還有基于Graph Cut進行圖像修復的方法。但無一例外，所有這些方法都是利用了圖像的非局部自相似性。關于圖像修復可以參見這篇文章對這些方法的概述。另外，這篇文章還提到了一個有意思的觀察，即自然圖像中相似塊之間的偏移量集中在少數幾個偏移量上，這也從而說明了自然圖像的紋理分布是存在一定周期性規律的。

稀疏性

稀疏性本身是指矩陣或向量中非零元素個數很少。對于自然圖像來說，就是其可以用少量的幾個獨立成分來表示。即圖像可以通個某些線性變化變成稀疏信號。圖像的稀疏性是圖像可以用壓縮感知方法進行恢復的先決條件。
壓縮感知進行圖像恢復的過程如下圖所示，圖像經過線性基變換$\Psi$可以變成稀疏向量$S$。對原始圖像進行隨機采樣可以得到觀測向量$y$。利用觀測向量$y$和恢復矩陣$\Theta$（常常是冗余字典）可以恢復出原始圖像。

統計特性

統計特性是通過對大量圖像進行學習得到的統計規律。這種特性比較抽象，一般對圖像進行概率分布建模，將統計特性融合在概率模型的求解的參數里。一個比較常見的例子是EPLL先驗（Expected Patch Log LIkelihood），其使用混合高斯模型從大量自然圖像塊中學習到先驗知識。
基于監督模型的深度學習方法也是利用神經網絡去自學習自然圖像中的統計特性。

Deep image prior【題外話】

這是CVPR2018的文章。其也是通過神經網絡獲取圖像先驗，只不過與上面提到的用神經網絡學習大量圖像中的統計特性不同，deep image prior認為神經網絡本身就是一種先驗知識，網絡自身結構限制了解的范圍。網絡會從退化圖像中提取特征以用于退化圖像的復原，且從結果可以看到，網絡會先學習到圖像中“未被破壞的，符合自然規律的部分”，然后才會學會退化圖像中“被破壞的部分”。

Deep Image Prior類似于自然圖像的非局部自相似性。關于Deep Image Prior的介紹可以參見這里。

參考：

https://www.jianshu.com/p/ed8a5b05c3a4

http://www4.comp.polyu.edu.hk/~cslzhang/paper/IR_lecture.pdf

http://www4.comp.polyu.edu.hk/~cslzhang/paper/SPM_IR.pdf

https://blog.csdn.net/zbwgycm/article/details/81187774

https://blog.csdn.net/m0_38045485/article/details/82147817

總結

以上是生活随笔為你收集整理的图像先验分布详解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。