論文閱讀——《Exposure Control using Bayesian Optimization based on Entropy Weighted Image Gradient》

• 《Exposure Control using Bayesian Optimization based on Entropy Weighted Image Gradient》
• • 1. 曝光評(píng)價(jià)標(biāo)準(zhǔn)——熵權(quán)梯度
  • • 2.1 什么是圖像熵？
    • 2.2 為什么用圖像熵？
    • 2.3 怎么使用圖像熵？
    • 2.4 評(píng)價(jià)效果怎么樣？
  • 2. 自動(dòng)曝光控制——貝葉斯優(yōu)化
  • • 2.1 什么是貝葉斯優(yōu)化？
    • 2.2 貝葉斯優(yōu)化是如何進(jìn)行？

《Exposure Control using Bayesian Optimization based on Entropy Weighted Image Gradient》

最近這是一篇在2018年ICRA上發(fā)表的會(huì)議論文，主要內(nèi)容是提出一種新的曝光評(píng)價(jià)標(biāo)準(zhǔn)，以及一種新的自動(dòng)曝光控制策略，關(guān)于自動(dòng)曝光的其他文章可以參考我之前的這篇博客：
圖像傳感器與信號(hào)處理——自動(dòng)曝光算法
我之前這篇博客分享了兩篇2017年發(fā)表的利用梯度進(jìn)行自動(dòng)曝光的文章，這篇文章中在相關(guān)工作中也提到了，說之前的那兩篇只考慮了梯度信息，對(duì)于過曝光和欠曝光的處理效果不佳，這篇文章對(duì)于這個(gè)問題則有更好的解決方案。

1. 曝光評(píng)價(jià)標(biāo)準(zhǔn)——熵權(quán)梯度

所謂“熵權(quán)梯度”就是用圖像熵來作為梯度的權(quán)值。

2.1 什么是圖像熵？

這個(gè)熵是以像素為單位來定義的（參考《A mathematical theory of communication》），其計(jì)算公式是：$$H_i=?\sum _{k}P\left(i_k\right){\log }_2\left(P\left(i_k\right)\right)$$其中$P(?)$是和像素梯度級(jí)數(shù)$k$相關(guān)的概率，因此在計(jì)算這個(gè)概率之前需要先計(jì)算像素$i$的梯度$\Vert ?I(i){\Vert }^2$。圖像熵可以描述這個(gè)像素周圍紋理復(fù)雜程度，圖像熵大則說明這個(gè)像素周圍紋理復(fù)雜。

2.2 為什么用圖像熵？

文中說利用圖像熵一方面可以最小化圖像梯度噪聲，另一方面可以建立一個(gè)飽和區(qū)域蒙版，減小過曝光或欠曝光區(qū)域來提升圖片整體效果。

2.3 怎么使用圖像熵？

這就是最重要的，首先曝光評(píng)價(jià)標(biāo)準(zhǔn)的計(jì)算公式為：$$G_{\text{ewg?}}=\sum g_i$$其中，$g_i$就是熵權(quán)梯度，這里先給出熵權(quán)梯度的定義公式：$$g_i=W_i\Vert ?I(i){\Vert }^2+\pi \left(H_i\right)M_i\left(H_i\right)W_i\frac{1}{N}\sum _{j=0}^{N?1}\Vert ?I(j){\Vert }^2$$可以看出，這個(gè)圖像熵公式由兩部分構(gòu)成，第一部分$W_i\Vert ?I(i){\Vert }^2$是主要部分，第二部分$\pi \left(H_i\right)M_i\left(H_i\right)W_i\frac{1}{N}{\sum }_{j=0}^{N?1}\Vert ?I(j){\Vert }^2$就是通過建立蒙版來減小過曝光或欠曝光區(qū)域的，下面分別解析：

（1）第一部分$W_i\Vert ?I(i){\Vert }^2$：
權(quán)重$W_i$的定義公式如下：$$W_i=\frac{w_i}{{\sum }_{i=0}^{N?1}{w}_i}$$其中$$w_i=\frac{1}{\sigma }\exp \left\{\frac{{\left(H_i?\mathrm{mean}\left(H_i\right)\right)}^2}{2{\sigma }^2}\right\}$$其中$\sigma$是方差，$i$是像素位置。根據(jù)公式，大的圖像熵將獲得較大的權(quán)值，反之則權(quán)值較小。

（2）第二部分$\pi \left(H_i\right)M_i\left(H_i\right)W_i\frac{1}{N}{\sum }_{j=0}^{N?1}\Vert ?I(j){\Vert }^2$：
激活函數(shù)$\pi \left(H_i\right)$的定義公式如下：$$\pi \left(H_i\right)=\frac{2}{1+\exp \left(?\alpha H_i+\tau \right)}?1,0\le H_i\le 1$$其中參數(shù)$\alpha$控制像素$i$的圖像熵和梯度的之間的關(guān)系，如果$\alpha$較大時(shí)則考慮更多圖像熵的因素，飽和區(qū)域會(huì)更快被控制，如果$\alpha$較小時(shí)則考慮更多梯度的因素。參數(shù)$\tau$控制可以被視作飽和區(qū)域像素的最小圖像熵水平，激活函數(shù)隨這兩個(gè)參數(shù)變化的圖像如下圖所示：
這里指的注意的是，激活函數(shù)輸入的是像素的圖像熵，從圖像上可以很直觀的看到，小的圖像熵激活函數(shù)輸出負(fù)值，大的則輸出正值。
蒙版函數(shù)$M_i\left(H_i\right)$的定義公式如下：$$M_i\left(H_i\right)=\{\begin{array}{ll}0,& H_{\text{thres}}\le H_i\le 1\\ 1,& 0\le H_i<H_{\text{thres}}\end{array}$$通過公式可以看出，當(dāng)圖像熵較大時(shí)，蒙版輸出為0，當(dāng)圖像熵較小時(shí)，蒙版輸出為1。也就說蒙版只對(duì)圖像熵小的像素進(jìn)行限制。
結(jié)合激活函數(shù)和蒙版函數(shù)的特性知道，過曝光或者欠曝光區(qū)域像素圖像熵通常較小，第二部分因此在這些像素上輸出小值或者負(fù)值，使得過曝光或者欠曝光的圖像按照曝光評(píng)價(jià)標(biāo)準(zhǔn)計(jì)算出來更小。

2.4 評(píng)價(jià)效果怎么樣？

文中給了這樣一幅圖：其中紅色標(biāo)記和紅色曲線為本文的評(píng)價(jià)標(biāo)準(zhǔn)，可以看出來最優(yōu)的曝光圖片其過曝光區(qū)域確實(shí)相對(duì)較小。

2. 自動(dòng)曝光控制——貝葉斯優(yōu)化

有了曝光評(píng)價(jià)函數(shù)后就需要考慮如果通過曝光評(píng)價(jià)函數(shù)來進(jìn)行自動(dòng)曝光控制，以獲取最優(yōu)曝光，目前我看過好幾種算法了，例如在《Active Exposure Control for Robust Visual Odometry in HDR Environments，2017》中，文中采用的是通過就曝光評(píng)價(jià)函數(shù)對(duì)曝光時(shí)間的偏導(dǎo)，然后通過高斯牛頓法獲取最優(yōu)曝光。在《Gradient-based Camera Exposure Control for Outdoor Mobile Platforms，2018》中是通過最優(yōu)$\gamma$矯正來獲取最優(yōu)曝光。本文提出一種基于貝葉斯優(yōu)化的自動(dòng)曝光控制算法，挺有意思。

2.1 什么是貝葉斯優(yōu)化？

貝葉斯優(yōu)化算法通常用在機(jī)器學(xué)習(xí)中尋找最優(yōu)超參數(shù)的問題中，具體問題可以這么描述，如下：$$X^{?}={\arg }_{x\in S}\max f(x)$$其實(shí)就是在集合$S$中選擇參數(shù)$x$使得函數(shù)$f(x)$最大，最核心的問題就是函數(shù)$f$是未知且不一定是凸函數(shù)，對(duì)應(yīng)到我們自動(dòng)曝光過程中，參數(shù)$x$就是曝光程度，而函數(shù)$f$就是曝光評(píng)價(jià)隨曝光程度的變化趨勢(shì)

2.2 貝葉斯優(yōu)化是如何進(jìn)行？

文中這幅圖就很形象地說明了貝葉斯優(yōu)化的過程：

貝葉斯優(yōu)化算法最核心的內(nèi)容主要有兩部分構(gòu)成，分別是Prior Function和Acquisition Function,下面分別進(jìn)行說明：

（1）Prior Function
前面提到，我們要求的函數(shù)$f$是完全未知的，因此我們就要通過模型建立Prior Function，在上圖中，藍(lán)色曲線就是我們要求的函數(shù)$f$，而"紫色柵格"就是基于高斯模型建立的Prior Function，基于高斯模型建立的Prior Fuction這個(gè)函數(shù)的自變量對(duì)應(yīng)的不是一個(gè)標(biāo)量，而是一個(gè)高斯分布。從上圖中可以看到，貝葉斯優(yōu)化的過程實(shí)際上就是不斷采樣使得Prior Fuction不斷逼近函數(shù)$f$（如何采樣就和Acquisition Function有關(guān)），其具體公式如下：$$\begin{array}{rl}\mu \left(x_{?}\right)& ={\mathbf{k}}_{?}^T{\left(K+{\sigma }_n^{2}I\right)}^{?1}\mathbf{y}\\ {\sigma }^2\left(x_{?}\right)& =k\left(x_{?},x_{?}\right)?{\mathbf{k}}_{?}^T{\left(K+{\sigma }_n^{2}I\right)}^{?1}{\mathbf{k}}_{?}\end{array}$$其中，內(nèi)核矩陣$K={\left[k\left(x_i\right),k\left(x_j\right)\right]}_{x_i,x_j\in \mathbf{x}}$，${\mathbf{k}}_{?}={\left[k\left(x_i,x^{?}\right)\right]}_{x_i\in \mathbf{x}}$，其中$\mathbf{x}$是已有的采樣點(diǎn)集合，$k(?,?)$是內(nèi)核函數(shù)，本文采用的是平方指數(shù)函數(shù)。那么$\mu \left(x_{?}\right)$和${\sigma }^2\left(x_{?}\right)$分別是函數(shù)在自變量$x_{?}$處的均值方差。

（2）Acquisition Function
前文提到要如何進(jìn)行采樣，Acquisition Funtion就是根據(jù)當(dāng)前的Prior Function獲取下一階段采樣的算法，文中分為$\text{MAXVAR}$算法和$\text{MAXMI}$算法.

那么論文中整個(gè)控制算法的偽代碼如下圖所示，我覺得有了前面的理解，對(duì)偽代碼的閱讀就沒那么困難了，只是可能復(fù)現(xiàn)出來還有一定難度：


其中$\mathbf{x}=\left(x_0,?,x_m\right)$，$\mathbf{y}=\left(y_0,?,y_m\right)$，我按照對(duì)算法的理解繪制了如下流程圖，便于理解：

最后實(shí)驗(yàn)結(jié)果部分就不介紹了，反正很牛逼就對(duì)了，這里是實(shí)驗(yàn)結(jié)果視頻，好啦，那么這篇paper就總結(jié)到這兒，不知道2019和2020有沒得更新的成果，花時(shí)間去找找，有問題歡迎交流~

總結(jié)

以上是生活随笔為你收集整理的论文阅读——《Exposure Control using Bayesian Optimization based on Entropy Weighted Image Gradient》的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。