論文：《A Morphable Model for the Synthesis of 3D Faces》

文章目錄

• • • • • 選擇動機
        • 數據集
        • Morphable 3D Face Model
        • • 模型建立及基本思想
          • 分區變形模型
          • 人臉屬性
        • 模型與圖片的匹配
        • • 單圖像
          • 多圖像
          • 結果展示
        • 總結

選擇動機

在接到這個課題的時候，先去看了相關碩博論文里的研究現狀部分，發現這一篇論文的方法會被多次提及，所以選擇這篇論文作為這一課題的第一篇文獻。（目前讀了十幾篇相關文獻，最近在回顧總結，所以CSDN上的文獻順序和我的閱讀順序不一致）

• 做什么？——基于單張(或多張)人臉圖像進行人臉的三維重建
• 這篇論文的目標：modeling textured 3D faces 帶紋理的三維人臉建模
• 怎么做？(如下圖)分為兩個部分
  • 基于3D人臉掃描數據集建立變形模型
  • 輸入一張2D人臉圖像，結合變形模型進行人臉的三維重建。通過調整相關形狀和紋理參數進行屬性編輯應用。
    

數據集

使用激光掃描儀對200個人(100男，100女)的頭部進行掃描。掃描結果以**柱坐標(cylindrical)**進行表示。除此之外，所有的人臉沒有化妝，沒有飾品，不帶頭發，無表情。

Morphable 3D Face Model

模型建立及基本思想

假設數據集中所有人臉均對齊(使用光流法optic flow進行對齊)。
使用$n$個頂點的三維坐標對三維人臉的形狀進行表示：$S={(X_1,Y_1,Z_1,X_2,...,Y_n,Z_n)}^T\in R^{3n}$，
使用$n$個頂點處的RGB值對三維人臉的紋理進行表示：$T={(R_1,G_1,B_1,R_2,...,G_n,B_n)}^T\in R^{3n}$。
那么，基于$m$個人臉樣例構建3DMM，且每一個人臉樣例均由形狀向量$S_i$和紋理向量$T_i$表示。新的人臉形狀$S_{model}$和紋理$T_{model}$可基于$m$個樣例線性表示為：$$S_{model}=\sum _{i=1}^m{a}_i{S}_i,T_{model}=\sum _{i=1}^m{b}_i{T}_i,\sum _{i=1}^m{a}_i=\sum _{i=1}^m{b}_i=1$$那么變形模型的定義：根據系數$a={(a_1,a_2,...,a_m)}^T$和$b={(b_1,b_2,...,b_m)}^T$產生的一系列人臉$(S_{model}(a),T_{model}(b))$。不同的系數$a$和$b$會產生不同的形狀和紋理。

為了保證產生的結果是一張可信的人臉，需要基于樣例人臉集估計參數的概率分布。
具體做法是將多元高斯分布(multivariate normal distribution)擬合到包含200個人臉掃描結果的數據集上。其中，形狀均值為$\bar{S}$，紋理均值為$\bar{T}$，形狀協方差為$C_S$，紋理協方差為$C_T$。協方差矩陣基于$\Delta S$和$\Delta T$進行計算，且有$\Delta S_i=S_i?\bar{S}$和$\Delta T_i=T_i?\bar{T}$。
引入PCA(Principal Component Analysis，主成分分析)思想，基于協方差矩陣計算得到特征值${\sigma }^2$和特征向量$s,t$。根據特征值降序選擇$m?1$個特征向量，基于平均形狀或紋理，對新的人臉形狀或紋理進行表示。$$S_{model}=\bar{S}+\sum _{i=1}^{m?1}{\alpha }_i{s}_i,T_{model}=\bar{T}+\sum _{i=1}^{m?1}{\beta }_i{t}_i$$系數$\alpha ,\beta$的概率分布為：$$p(\alpha )～exp[?\frac{1}{2}\sum _{i=1}^{m?1}{({\alpha }_i/{\sigma }_{s,i})}^2],p(\beta )～exp[?\frac{1}{2}\sum _{i=1}^{m?1}{({\beta }_i/{\sigma }_{t,i})}^2]$$

分區變形模型

將人臉分成4個獨立的子區域進行變形操作：眼睛、鼻子、嘴巴、剩下區域。分別進行變形操作，再整合到一起。

人臉屬性

變形模型的系數與人臉屬性之間不是明確的對應關系。加入手動標記的人臉屬性${\mu }_i$，并映射到變形模型的參數空間。$$\Delta S=\sum _{i=1}^m{\mu }_i(S_i?\bar{S}),\Delta T=\sum _{i=1}^m{\mu }_i(T_i?\bar{T})$$繼而去影響后續協方差矩陣、特征值、特征向量的計算。

模型與圖片的匹配

單圖像

上圖展示的是模型與單張人臉圖像的匹配過程。采用分析合成(analysis-by-synthesis)的思想，先基于目前的模型參數對人臉進行初步的三維重建，映射到二維圖像，與輸入圖像進行對比，基于殘差信息更新參數，使得產生的二維圖像與輸入圖像盡可能相似。基于最終的結果可以對人臉進行一些屬性編輯的操作。
在世界坐標與圖像坐標之間進行投影計算時，引入渲染參數$\rho$，包含相機位姿、縮放因子、旋轉矩陣、平移向量、光照因素等。
基于參數$(\alpha ,\beta ,\rho )$，模型最終得到的2D圖像可以表示為$I_{model}(x,y)={(I_{r,mod}(x,y),I_{g,mod}(x,y),I_{b,mod}(x,y))}^T$。希望重建的2D圖像與輸入的2D人臉圖像盡可能相似，通過計算二者之間的歐氏距離，并基于此更新重建過程中的參數。$$E_I=\sum _{x,y}{\Vert I_{input}(x,y)?I_{model}(x,y)\Vert }^2$$以貝葉斯決策論的思想來看，尋找一組參數$(\alpha ,\beta ,\rho )$，使得后驗概率$p(I_{input}|(\alpha ,\beta ,\rho ))$越大越好。假設輸入圖像$I_{input}$帶有標準方差為${\sigma }_N$的高斯噪聲，則$p(I_{input}|(\alpha ,\beta ,\rho ))～exp[\frac{?1}{2{{\sigma }_N}^2}{E}_I]$。最大化后驗概率等價于使下面的代價函數最小化。$$E=\frac{1}{{\sigma }_N^2}{E}_I+\sum _{j=1}^{m?1}\frac{{\alpha }_j^2}{{\sigma }_{S,j}^2}+\sum _{j=1}^{m?1}\frac{{\beta }_j^2}{{\sigma }_{T,j}^2}+\sum _j\frac{({\rho }_j?{\bar{\rho }}_j{)}^2}{{\sigma }_{\rho ,j}^2}$$
參數更新方式${\alpha }_j\to {\alpha }_j?{\lambda }_j\frac{?E}{?{\alpha }_j}$

多圖像

輸入的是同一個人的不同照片，共享相同的形狀和紋理參數，不同的是渲染參數。$E_I$則替換為每一張輸入圖像與模型結果的歐氏距離的總和。

結果展示

上圖展示的是變形模型與單張人臉圖像進行匹配的結果。圖1是輸入的單張人臉圖像，圖2是3D形狀，圖4是帶紋理的3D形狀。圖3、圖5、圖6、圖7則是進行相關屬性變化的結果。

總結

這篇論文是人臉三維重建任務中較為經典的一個解決方案，后續還有很多基于3DMM拓展的模型和數據集，使用也比較廣泛。首先是引入PCA思想對三維人臉形狀和紋理的線性表達和變形，其次是分析合成思想進行圖像與模型的匹配以及參數更新。但這個模型的不足之處也顯而易見：參數過多(不適用于實時性要求較高的任務)，數據集的獲取難度較大等。

總結

以上是生活随笔為你收集整理的论文笔记：3DMM(ACM1999)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。