Demosaic算法学习
一、概述
????????由于成本和面積等因素的限定，CMOS圖像傳感器在成像時，感光面陣列前通常會有CFA (color filter array)，CFA過濾不同頻段的光，因此，Sensor的輸出的RAW數據信號包含了3個通道的信息。
????????CFA的排列方式一般有以下幾種：
? ? ? ? 現在應用最廣泛的是Bayer CFA。?用Bayer CFA制作的傳感器的原始輸出是每個像素點只有紅、綠或藍一種顏色分量的馬賽克圖像。由于人眼對綠色（大約550nm波長）光更敏感，因此Bayer CFA陣列包含1/2的G分量，1/4和R和1/4的B分量。
????????為了實現圖像從Bayer模式到全彩色的圖像的重建, 需要對圖像中的每一個像素點進行插值, 利用其周圍像素點的色彩值來估計出缺失的另外兩個色彩值, 最終得到一個每個像素點包含紅、綠、藍三個像素值的全彩色圖, 這個過程就叫做去馬賽克。
????????現存的去馬賽克方法按照是否利用相關性原則可以分為兩大類：
????????一種是沒有利用相關性的插值方法。例如最近鄰域復制, 雙線性插值, 三次樣條插值等方法。在這些方法中未知的綠色分量值僅由已知的綠色像素值進行估算, 對紅色和藍色通道也采用同樣的方法。其中最典型的是雙線性插值法。這一類算法容易實現, 在平滑區域內也可以得到比較滿意的效果, 但在高頻區域, 尤其是在邊緣區域卻失真明顯。
????????另一種是利用相關性的插值方法。相關性包括每個色彩通道內像素之間空間關系的相關性和多通道間色彩的相關性。利用相關性的去馬賽克算法效果明顯優于不利用任何相關性的算法。
二、常見失真現象
1、拉鏈效應
????????拉鏈效應也叫鋸齒效應。在圖像從低頻跳到高頻時, 插值不是沿著邊緣而是穿過邊緣, 邊緣部分會產生模糊和顏色溢出。插值后在水平或垂直方向上出現有一些像素點有規律的間隔分布, 就稱為拉鏈效應。如下圖所示：
2、虛假色現象
????????虛假色是指在去馬賽克圖像中出現原圖像中沒有的色彩條紋現象, 是圖像重合失調和不適當的鄰域平均所致, 經常出現在色彩的輪廓處。對于這種噪聲, 圖像處理的一般方法是采用中值濾波。如果用傳統的灰度圖像中值濾波用到色彩圖像中, 即對彩色圖像的三個色彩通道分別進行處理, 很容易產生新的虛假色。
3、摩爾紋效應
????????摩爾紋是數碼照相機等設備上的感光陣列出現的高頻干擾, 使得圖片出現彩色的高頻率不規則的條紋, 如果感光元件CMOS像素的空間頻率與影像中條紋的空間頻率接近時, 就極易產生摩爾紋。
????????根據奈奎斯特采樣定理, 圖像傳感器能夠分辨的最高空間頻率等于其空間采樣頻率的一半, 當影像中的條紋空間頻率超傳感器陣列的空間采樣頻率的一半時, 影像頻譜在頻域坐標系上的周期性重復就會造成頻域的混疊。混疊的信號經過電路低通濾波后是無法去除的, 并伴隨有用信號一起輸出, 影響了圖像的的主觀視覺效果, 甚至出現條紋干擾。
????????為了減少摩爾紋的發生, 大多數數碼相機會在彩色濾波陣列之前增加一個低通濾波器, 濾除部分高頻信號, 通過降低圖像銳度的方法來減少摩爾紋的發生概率。或者可以通過提高感光陣列的像素密度來提高空間采樣頻率。
三、常見的算法
? ? ? ? 下面介紹的算法將以Bayer陣列為例進行說明，像素說明如下：
1、雙線性插值法
????????雙線性插值法屬于單通道獨立插值法, 作為最傳統、簡單、基礎的插值算法之一, 它仍然是理解并設計新型算法的基礎, 對參考評估其它算法的性能仍具有廣泛的意義。
? ? ? ? Bayer提出Bayer濾波陣列時, 為了得到全彩圖像, 用的就是雙線性插值。從采樣陣列上可以看出, 在R或B值的周圍上下左右四個方向都有已知的G值，以此來估計出在或上缺失的G值；利用在G的上下或者左右的兩個已知的R或B值估計出缺失的R或B的值。具體算法如下：
????????由于雙線性法是單通道之間獨立插值, 并且始終取3*3濾波器平均值, 忽略了圖像的細節信息以及圖像三個顏色通道之間的相關性, 所以往往不能得到滿意的插值效果, 容易在邊緣處產生虛假色, 也不可避免的產生彩色摩爾紋。
2、色比恒定法
????????事實上, 不同的顏色通道間具有很強的相關性。提出的基于常色調的插值方法是比較早的考慮了不同顏色通道間的相關性的算法之一。該算法也是早期應用于數碼相機系統的算法之一。
?????????“Mondriaan”（蒙德里安）彩色圖像成像模型, 是基于對彩色圖像形成方式的一種簡化模型。人眼看到的圖像一般是通過光照射到目標上反射進行度量的, 所以平面圖像A(x,y) 基本上由兩部分構成：一是入射到可見場景上的光的量, 二是場景中目標反射光的量。它們分別稱為照度成分i（x，y）與反射成分r（x，y）。其中, i（x，y）由光源的特性來決定, r（x，y）則由場景中目標的物理屬性等來確定, 并且因不同波長的顏色而不同。根據這一模型，三個顏色通道可以表示為：
????????這說明不同顏色通道的差別主要是反射率`不同, 根據上面的公式, 可以看出, 對于同一種物質以及固定的位置, 反射率是一個固定的常數, 因此對同一物質同一位置, 三顏色通道光強的比例是一個常數, 如下式所:
????????根據上面的結果可以推斷, 在一個平滑的小鄰域內, 由于圖像的色彩亮度是均勻過渡的, 不會有很大的突變, 因此可認為兩種通道的強度比成恒定的值。這一簡化模型看起來過于簡單, 但它符合圖像成像局部區域的物理特性, 因而在圖像處理過程中很有用。
????????假設（i，j）鄰近的一個采樣點是（m，n）?, 則下面兩等式同時成立：
? ? ? ? 上面的式子中，為測量的值，是插值得到的值，為了計算出，將上式變形得到：
????????利用上面的結論進行插值, 首先利用雙線性法則重建出綠色分量, 此時整幅圖像的綠色分量均可以插值獲得, 然后用色比恒定來重建紅色和藍色通道的信息：
????????可以看到, 盡管利用了色彩相關性, 但是基于常色調的插值方法的本質還是雙線性插值方法。由于這種方法在任何鄰域中都認為色彩值很接近, 色調變化平緩, 因此該方法在平滑區域內有較好的效果, 但當色調突然變化時, 如在邊緣的地方, 還是會產生很多虛假色現象。另外, 還應該考慮的是分量為零的情況,這時色比趨向于無窮大, 圖像也會反映出很多虛假色的情況, 因為在使用這種插值方法時必須仔細的分析圖像的相關結構, 盡可能的排除不利因素, 以求達到理想的效果。
3、基于邊緣的插值算法
????????人眼視覺對圖像中的邊緣非常敏感, 如果不考慮圖像的這種局部空間結構就會產生較多的問題, 文獻中有一類算法就是考慮邊緣方向的算法。如果能夠正確的找到圖像的邊緣, 沿著邊緣方向上進行插值, 那么虛假色現象將得到很好的抑制。本節將描述幾種比較有效的尋找邊緣的插值方法。
1）邊緣敏感性算法
????????通過計算一階微分即采用亮度分量來確定參考像素點可能的邊緣方向, 主要做法是計算出像素點水平和豎直方向的梯度算子重建出該點的綠色分量, 具體算法如下：
????????為了在R/B的位置上插值G值, 則需要在R/B位置做方向判斷, 為此, 定義了兩個梯度, 一個水平方向, 一個垂直方向。以為例：
? ? ? ? 定義門限值，則的值為：
????????在插值R通道時, 可以用到的基本思想是基于色差的插值算法。我們認為在圖像的小平滑區域內, 色差是恒定的。
? ? ? ? B通道插值則類似，不再詳細寫出。
2）計算二階微分的邊緣插值方法
? ? ? ? 通過計算二階微分即色度分量來確定邊緣方向。這里是拉普拉斯算子。拉普拉斯算子是一種
各向同性的二階微分邊緣檢測算子, 它是一個線性的, 平移不變的算子,離散情況下, 用差分定義二階微分：
????????圖像經過二階微分之后, 在邊緣處產生一個陡峭的零交叉, 根據這個零交叉判斷邊緣。由于圖像邊緣處的一階微分是極值點, 圖像邊緣處的二階微分應為零,確定零點的位置要比確定極值點更容易, 也更準確。
????????該算法的基本思想依然是計算出像素點水平和豎直方向的梯度算子重建出該點的綠色分量, 不同點在于該算法并不是用分量的值來確定方向梯度算法, 而是利用了像素點本身的色彩分量:
? ? ? ? 剩下插值方法與上小節相同。
3）自適應插值法
????????這種自適應插值法, 實際上是對前兩種算法的一個改進, 算法仍然是首先通過邊緣檢測來重建出綠色通道的分量, 隨后重建色度信號, 同時把邊緣檢測的原理也引入到色度信號的重建中。
????????本算法中為了更準確的定位圖像中像素點的水平和垂直方向, 利用同一方向上的亮度相似性和色彩相似性共同作為方向判斷的依據, 某一方向梯度越小, 說明那個方向上的像素值越接近, 判斷方向后對值用雙線性插值, 并用的二階微分做修正。具體過程如下：
????????在R和B的位置上插G值。?在?位置上考慮：
? ? ? ? 那么，插值結果如下：
????????在G和B的位置上插R值。????????
? ? ? ? G有相鄰R值，則插值為
????????B無相鄰R值，兩個對角線上有己知的色彩值。這種情況比較復雜, 本算法并沒有繼續采用前兩種方法那樣取兩個對角線的平均, 而是檢查使用梯度檢測的思想, 又定義了兩個對角線上的梯度如下以為例：
? ? ? ? 則插值方法如下：
????????在R和G的位置上插B值的方法與插值R通道類似，這里不再詳細寫出。
總結
以上是生活随笔為你收集整理的Demosaic算法学习的全部內容，希望文章能夠幫你解決所遇到的問題。
