魚羊蕭簫發自凹非寺

　　量子位報道公眾號 QbitAI

　　現在，AI 對光影的理解越來越深入了。

　　不僅能自動給二次元萌妹的線稿上色，繪制出合理的光影變化。

　　反向操作，提取圖片中的紋理和光影也不在話下。

　　大師級作品、或是攝影海報，只需要拿過來「掃描」一下，就能分解出純色層、陰影層和反射層。

　　這下，想要調整圖片的紋理和光影，再也不用苦惱沒有 psd、圖層被合并了。

　　這只全新 AI 的一作，還是那位打造了火遍二次元圈的自動線稿上色 AIStyle2Paints的 Lvmin Zhang 小哥。

　　論文已經中了 ECCV 2020 Spotlight。

　　摳掉多余的像素

　　分解圖像最需要解決的問題，就是圖像平滑，它能讓圖像變得更模糊，但與此同時，調節光影、紋理也變得更容易。

　　而圖像平滑的核心問題，可以被理解成估計圖像中的像素是否被需要。

　　圖像平滑

　　換種說法，圖像平滑要解決的最大問題，是在圖像去噪和外觀保留這兩者之間，找一個平衡點。

　　也就是說，與銳化相反，平滑既要最大程度上保留圖像的本質，又希望能消除圖像的噪音。

　　下圖就是經過平滑處理的一張圖像。可以看見，即使平滑處理后的圖像變得模糊不清，我們依稀能辨認出這是一片海。

　　那么，平滑圖像究竟有什么用？

　　看，調節色溫方便多了，讓圖中的天和海從藍變綠再變紫，看起來都不是問題。

　　此外，圖像平滑也是圖像處理中紋理去除、材料處理、重新著色、層提取等操作的基本處理步驟。

　　那么，如何讓一個 AI 實現圖像平滑呢？

　　研究者發現，對圖像中物體的部分外觀進行「擦除」（手動消除部分噪聲），似乎能給圖像平滑帶來更好的效果。

　　如果你是一個 PS 大神，那么，選擇圖像中該擦除的部位肯定不是難事。

　　然而，AI 它并不會 PS…這就需要人為制定一些「規則」，告訴 AI，哪些像素應該被擦除。

　　這里又回到了開頭提到的，圖像平滑的本質：在圖像去噪和外觀保留二者之間，找尋一個平衡點。

　　說白了，就是估計圖像中哪些像素是需要的，哪些是可以被「擦除」的。

　　作者將這一步驟稱之為擦除外觀保留（Erasing Appearance Preservation ，EAP）。

　　這里就涉及到一個像素選擇的算法，作者制作了一個0-1 背包，將它解決了。

　　0-1 背包問題

　　這個問題在像素中的場景描述如下：如何選擇這個位置的像素值，使圖像平滑效果最好？

　　把這個位置比作一個背包（knapsack），像素值就是填入背包中的選項。而最好的像素值，就是能剛好填滿背包的最優解。

　　如下圖，用最快的速度，計算哪些部分的像素是必需保留的，能最大程度上還原圖像特征。

　　但如果讓計算機用窮舉法列舉出算法，效率就會很慢。

　　0-1 背包問題，旨在用最少的步驟，列出每一步的最優解，并不斷與新結果進行對比。

　　這個算法的核心思想在于，子問題的最優解，同樣可以用于解決母問題。

　　這樣，既能保留圖像的紋理結構，又能讓圖像最大程度上模糊化。

　　歸根結底，0-1 背包的思想在于，一個像素值的最優解，同樣可以被用于解決像素塊最優解的問題。

　　這個算法，比暴力堆疊算力，窮舉像素最優解的方法快多了。

　　如果用偽代碼簡單呈現的話，算法的步驟是這樣的：

　　這一算法基于 Matlab 實現。作者表示，由于 Python 的稀疏優化比較捉急，目前沒能把 EAP 遷移到 Python 中。

　　與人類水平相當

　　研究人員將 L0 和 L1 兩種平滑方式的結果，與專業人士的處理結果進行了比較。

　　結果顯示，在擦除位置的選擇上，AI 的操作與專家的選擇相似，并且平滑結果與專家的處理結果表現相當。

　　而消融實驗的結果顯示：

　　（1）在原來的 L1 平滑中使用極端 lambda (10.0)，不使用 EAP，這會導致圖像結構被破壞。

　　（2）重復原 L1 平滑多次（10 次，與 EAP 配置相同），不使用 EAP，這會導致低飽和度和低對比度偽影出現。

　　（3）在 EAP 方案中，不使用背包權重w_p，而是給背包的值設定一個固定的閾值（0.1），所有高于這個閾值的像素都會被視作擦除位置。這會導致圖像被壓縮成少數幾種顏色。

　　（4）在 EAP 方案中，用常數（1.0）代替所有背包權重w_p。這將導致所有不想要的圖案仍在最終結果中被保留。

　　（5）在 EAP 方案中，不使用 knapsak 值v_p，而是給背包的權重設定一個固定的閾值（0.1），所有低于這個閾值的像素都會被視作擦除位置。這會導致圖像中所有明顯的構件都被消除。

　　（6）在 EAP 方案中，用常數（1.0）代替所有背包值v_p。這使得突出的構件得以保留，但原有的結構會被破壞。

　　（7）本文中提出的解決方案，能夠在不造成其他偽影的情況下，使圖像充分平滑。

　　另外，使用 PSNR（峰值信噪比）指標，對幾種不同的平滑方法進行對比。結果表明，基于 EAP 的方法 PSNR 值明顯高于其他方法，也就是說，實現了更徹底的紋理分解。

　　應用場景

　　看到這樣的 AI 能力，你想到要在哪些場景中應用它了嗎？

　　作者也舉了幾個例子。

　　比如，輕松實現紋理替換。

　　比如，給圖片調光影、調顏色。

　　就有網友表示：這不就是我一直想要的那種 AI 嘛！

　　也有網友聯想到了火爆二次元圈的那只上色 AIStyle2Paints。

鵝妹子嚶，所以這項技術會用到 Style2Paints V5 中嗎？

　　目前，這項研究的代碼已經開源，如果感興趣，就戳進文末鏈接試一試吧~

　　傳送門

　　GitHub 地址：

　　https://github.com/lllyasviel/AppearanceEraser

　　項目地址：

　　https://lllyasviel.github.io/AppearanceEraser/

總結

以上是生活随笔為你收集整理的你的二次元老婆，被AI变成了暗黑系的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。