? ??先發(fā)一張美美的圖片！

????這篇文章的工作出發(fā)點(diǎn)是補(bǔ)救那些人在拍照時不小心眼睛閉上而得到的照片，可以說是“開眼”啦~

????這里先簡要介紹這項工作：

????????1）目的：讓照片中閉眼的人物睜開雙眼；

????????2）網(wǎng)絡(luò)框架：生成拮抗網(wǎng)絡(luò)（GAN），本文提出了ExGANs.

????????3）基本思路：基于照片補(bǔ)全（Image Completion）的思想，將照片中人物的“閉眼”先定位出來，將其去除；基于另外一張該人物在不同環(huán)境、不同時間下的照片，將這個“空白”腦補(bǔ)填充出來；

????????4）實(shí)驗步驟：我們先訓(xùn)練一個能夠基于參照圖完成對確實(shí)眼睛的照片進(jìn)行填補(bǔ)的生成網(wǎng)絡(luò)；在實(shí)際應(yīng)用的時候，則只需要將閉眼的照片中的閉眼挖空，，即可應(yīng)用我們的生成模型。

一、基本思想

（1）GAN在圖像生成方面有突出的效果；

（2）但不加“參照”的GAN只能根據(jù)經(jīng)驗對人眼進(jìn)行生成，而并不是針對照片中的特定人物進(jìn)行生成；但我們知道每個人都是獨(dú)一無二的，一般來說不同人的外貌、面部結(jié)構(gòu)、比例等是不同，其中，人眼的shape、瞳孔color等也應(yīng)該是不同的，這里我們稱之為“Personality”；

（3）一個人物的原型exemplar作為參照reference是必要的，可以基于此參照學(xué)習(xí)這個人物的面部特征，進(jìn)而引導(dǎo)眼睛的生成。

二、相關(guān)工作

1．這項工作主要涉及的是2017年這篇發(fā)表在SIGGRAPH上的文章：

????Globally and Locally Consistent Image Completion.

其主要功能是：對不完整圖片基于本身的特征進(jìn)行修補(bǔ)Completion.

?

三、網(wǎng)絡(luò)架構(gòu)

1．基本模型（Base Model Framework）

??對閉眼照片和參照圖片先得到對應(yīng)他們各自眼睛所在位置的mask，可以理解為一個與圖片大小相同的0/1矩陣，其中對應(yīng)眼睛的區(qū)域（矩形區(qū)域）內(nèi)的元素為1，其余區(qū)域元素值為0.

??我們對參照圖片的使用方式有兩種——

??·Reference-image in-painting: 即將參照圖片與其mask，輸入圖片與其mask，直接contact在一塊，于是就有8個channels；之后我們再將其一塊輸入G。

，即：

??·Code-based in-painting: 考慮到這樣一個事實(shí)，同一個人的不同照片差別是比較大的；但在意識形態(tài)上其能夠指向同一個人，所以說我們應(yīng)該考慮的不是簡單的圖片之間的pixel到pixel的相異性，而應(yīng)該考慮其在更高維度空間即更抽象上的關(guān)系。譬如說，一個人開心和生氣的時候眼睛表現(xiàn)是不同的，但在意識形態(tài)（即抽象概念）上是指向同一個人。于是我們選擇將圖片先進(jìn)行一次特征抽取（C模塊），這個特征指示了一個人臉在意識上是如何區(qū)別于其他人臉的。

（1）各個模塊的作用如下：

·G：生成網(wǎng)絡(luò)

·D：檢測網(wǎng)絡(luò)

·C：是一個感知特征的提取網(wǎng)絡(luò)，用來將一張圖片I進(jìn)行映射：，它會將一張圖片（或選定部分）經(jīng)過一個CNN轉(zhuǎn)換得到一個N維的向量（高維特征）。

?

（2）我們定義

????a．Reference image: 原型參照圖——

????b．Input image: 輸入圖片，即我們想要補(bǔ)救的閉眼圖片；其中，閉眼的部分已經(jīng)先經(jīng)過一個網(wǎng)絡(luò)被定位出來了——

????c．Groundtruth image: 目標(biāo)圖片——

（3）下面我們分情況討論

①Reference-image in-painting

?

a．這里分為5個步驟

? a）Step 1: 用G生成目標(biāo)圖片

? b）Step 2: 計算重構(gòu)損失，即目標(biāo)圖片與生成圖片的“差距”

?

? c）Step 3: 計算基于下的識別器D對于真實(shí)圖片的得分

? d）Step 4: 計算基于下的識別器D對于生成圖片的得分

? e）Step 5: 計算拮抗損失

? f）最后的目標(biāo)函數(shù)是：

②Code-based in-painting

a．這里多了2個步驟，總共7個；此外多了一個C模塊用來提取感知特征——

? a）Step 1: 對參照圖片提取感知特征；

? b）Step 2: 用G生成目標(biāo)圖片

? c）Step 3: 計算重構(gòu)損失，即目標(biāo)圖片與生成圖片的“差距”:

? d）Step 4: 計算基于下的識別器D對于真實(shí)圖片的得分

? e）Step 5: 計算基于下的識別器D對于生成圖片的得分

? f）Step 6: 計算拮抗損失

? g）Step 7: 計算感知損失，即對生成圖片做同樣的感知特征提取。因為是來自于同一個人，所以我們期待生成圖片與參考圖片的感知特征應(yīng)該是非常接近的。

? h）最后的目標(biāo)函數(shù)是

四、最后我們不妨看一下實(shí)驗結(jié)果

其中，每一列分別是：

? ?1）原型參照

? ?2）經(jīng)需要修補(bǔ)的圖片

? ?3）Groundtruth（Local）

? ?4）生成圖片（Global）

? ?5）Groundtruth（Local）

? ?6）生成圖片（Local）

總結(jié)

以上是生活随笔為你收集整理的论文笔记：Eye In-Painting with Exemplar Generative Adversarial Networks的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。