Underexposed Photo Enhancement using Deep Illumination Estimation

基于深度學習優化光照的暗光下的圖像增強

論文地址：Underexposed Photo Enhancement using Deep Illumination Estimation

暗光拍照也清晰，這是手機廠商目前激烈競爭的新拍照目標。

提出基于深度學習優化光照的暗光下的圖像增強模型，用端到端網絡增強曝光不足的照片。

而且不是像以前的工作那樣，直接學習圖像到圖像的映射，而是在新網絡中引入中間照明，將輸入與預期的增強結果相關聯，增強網絡從專家修飾的輸入/輸出圖像學習復雜的攝影調整的能力。在此模型的基礎上，構造了一個對光照采用約束和先驗的損失函數，結果證明，新算法模型，效果超過了市面上一眾當紅的多攝多硬手機

傳統夜景圖像增強算法大致可以分為幾個方面： 直方圖均衡化(Histogram equalization) ，這種方法簡單的利用了圖像整體的統計性質，通常不能對復雜場景達到理想效果。

基于Retinex理論的增強算法，通常只能用單通道進行光照優化，顏色無法很好地回復，在光照復雜的情況下還容易出現過曝的現象。

這些傳統方法還容易在增加圖像亮度的同時，放大噪聲等瑕疵，影響圖像質量。

基于深度學習的方法，通常是直接訓練回歸(regression)模型，由于數據本身的特性，這種方法得到的結果通常清晰度、對比度比較低，而且會有一些人工痕跡。

效果圖

提出了一種新的端到端圖像增強網絡。特別地，沒有直接學習圖像到圖像的映射，而是設計網絡，首先估計一個圖像到光照的映射來建模各種光照條件，然后使用光照映射來照亮曝光不足的照片。此外，為了降低計算成本，我們采用了基于雙網格的上采樣，并設計了一個在光照上采用各種約束條件和先驗的損失函數，使我們能夠有效地恢復自然曝光、對比度合適、細節清晰、色彩鮮艷的低曝光照片。

方法

圖像增強的任務可以被看作是尋求一個映射函數

,這樣 就是我們想要的圖像，由輸入圖像 增強得到 ，最近基于Retinex方法的圖像增強， 的逆函數通常被建模為光照映射S，它與反射率圖像 以像素級的方式相乘，生成所觀察到的圖像 ：

這里S建模為RGB三通道是為了增強其對顏色增強的建模能力，特別是對不同顏色通道的非線性處理能力。

是觀察圖像， 是增強后的圖像，因此只要解得 的近似解 即可。為什么這么做有效呢？因為自然圖像的光照圖有著相對簡單的先驗，因此使用光照圖做中介可以有效應對各種光照情況，同時也可以通過對光照圖進行調整，實現個性化增強，例如可以使用局部平滑的光照圖增加對比度

網絡架構

網絡分成了 全分辨率分支 和 低分辨率分支 。其中低分辨率分支用于學習到全圖光照的整體信息，低分辨率圖像的使用，有助于增大網絡感受野，提高算法速度。

低分辨率分支的結果將會傳遞給高分辨率網絡分支，用于重建全分辨率下的亮度圖，并最終得到增強后的圖像。

損失函數

從N對圖片

學習照明映射，學習出S然后增強圖像 ，在網絡訓練過程中，我們設計了一個由三個部分組成的損失函數 ，并將其最小化。它表示為：

是是三個部分的損失， 是相應部分的權重

Reconstruction Loss：

為了得到預測的S，我們定義

誤差度量來測量重建誤差為：

其中，

和 中的所有像素通道歸一化為[0,1]， 表示像素顏色通道， 是多通道光照范圍約束。因為 ，將 設為 的下界，確保增強結果 中的所有顏色通道(上界)都有一個上界，因此要避免超出色域的顏色，而將1設置為S的上界可以避免錯誤地使曝光不足的區域變暗。

Smoothness Loss：

根據先驗光滑性，自然圖像中的光照一般為局部光滑。在我們的網絡中采用這種優先級有兩個優點。首先，它有助于減少過度擬合，提高網絡的泛化能力。其次，它增強了圖像的對比度。當相鄰像素點p和q的光照值相似時，它們在增強圖像中的對比度可以估計為

，它也應該被放大，因為 。因此，我們將圖3中預測的全分辨率光照S的平滑度損失定義為：

其中對所有像素的所有通道(c)求和，

為圖像空間水平方向和垂直方向的偏導數， 為空間變化(每個通道)的平滑權值，表示為：

這里，

是輸入圖像 的對數， 是控制圖像梯度靈敏度的參數， 是一個小常數，通常設置為0.0001，防止被0整除。

直觀地說，平滑度損失鼓勵光照在小梯度的像素上是平滑的，而在大梯度的像素上是不連續的。有趣的是，對于曝光不足的照片，圖像內容和細節往往很弱。較大的梯度更可能是由不一致的光照造成的。如圖4中的第4幅圖像所示，通過進一步加入平滑度損失，我們恢復了良好的圖像對比度，與僅重建損失的結果相比，細節更加清晰。

Color Loss

接下來，設計顏色損失來使生成的圖像

中的顏色與相應的標簽圖片 中的顏色匹配

表示一個像素， 是一個運算符，它將RGB顏色作為三維向量計算兩種顏色之間的夾角。上面等式對 和 中每個像素對的顏色向量夾角求和。

我們在其他顏色空間中使用這個簡單的公式而不是L2距離的原因如下。首先，重構損失已經隱含地測量了L2色差。其次，由于L2度規僅用數值方法測量色差，因此不能保證顏色向量具有相同的方向。

并在NVidia Titan X Pascal GPU上以mini-batch為16進行40個epoch的訓練。優化器使用Adam，固定學習率為

。為了增加數據，隨機裁剪了 的patch，然后隨機調整大小和旋轉所有patch。下采樣輸入的固定分辨率為 。編碼器網絡是一個預先訓練的VGG16。局部特征提取器包含兩個卷積層，全局特征提取器包含兩個卷積層和三個全連通層。此外，使用基于雙邊網格(bilateral grid)的模塊對輸出進行向上采樣。

結果

與最先進的方法進行可視化比較。

與最先進的方法進行可視化比較

使用了兩個常用的度量標準(即，PSNR和SSIM)來定量評估我們的網絡性能，根據預測結果和相應的專家潤色圖像之間的顏色和結構相似性。雖然這不是絕對的指示性，但總的來說，高的PSNR和SSIM值對應著相當好的結果。

在自己制作的數據集上定量比較本文的方法和最先進的方法

在MIT-Adobe FiveK數據集上對我們的方法和最新技術進行了定量比較。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的retinex 的水下图像增强算法_图像增强论文:腾讯优图CVPR2019的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。