【技术综述】人脸颜值研究综述
文章首發于微信公眾號《有三學AI》
【技術綜述】人臉顏值研究綜述
今天帶來一篇人臉識別中的顏值打分技術，所謂“顏值”，基于什么標準來評判高低呢？既然是個“數值”，那到底能不能“測量”一下？
?
01概述
近年來隨著人臉識別技術的發展，顏值打分也受到了廣泛的關注與研究。可即使人來打分，大家也口味各異，御姐蘿莉各有所愛。計算機又豈能判斷人的美丑呢？實際上科學家研究過人臉的"顏值"，并一直在開發相對應的”顏值算法”。【1】“平均臉” 的思想是通過算法檢測特征點，然后將人臉圖像劃分成不同區域再做分段放射變換與加權平均，綜合考慮人臉的形狀特征和紋理特征，合成的圖如下:
五官勻稱，輪廓對稱，膚色美觀的臉更容易受到大眾的喜歡，這一點在顏值中可算達到臉共識，也就是“丑人多作怪，美人一個胚”。正因如此，顏值算法才有了可行性，國內各大公司開發了顏值打分應用，我們看看。
同一張圖在不同應用中的測定
不同的人臉在同一應用中測定(百度AI為例)
不同年齡不同膚色在顏值打分系統中評分測試(例曠視科技，列出部分測試):
?
顏值測定是一項娛樂的應用，我們從下面的數據集中隨機拿了幾張圖做測試，結果如下
1.?不同膚色給出分數無明顯差異
2. 評分多在60分左右
總的來說表現都差不多，娛樂為主吧。
?
02 人臉顏值數據集與標價指標
2.1 數據集
地址在https://github.com/HCIILAB/SCUT-FBP5500-Database-Release。
?
數據集共5500個正面人臉，年齡分布為15-60，全部都是自然表情。包含不同的性別分布和種族分布（2000亞洲女性，2000亞洲男性，750高加索男性，750高加索女性），數據分別來自于數據堂，US Adult database等。每一張圖由60個人進行評分，共評為5個等級，這60個人的年齡分布為18～27歲，均為年輕人。適用于基于apperance/shape等的模型研究。同時，每一個圖都提供了86個關鍵點的標注。
各類人群的顏值分布如下：
?
顏值分數都使用包含兩個主成分的混合高斯模型去擬合，紅色和綠色分別是低顏值和高顏值的分布曲線，可見對于這4類人群，平均高顏值在4，低顏值在2.5左右。
另外文【2】中還列出了一些數據集，大家可以自行了解。
?
2.2 評價準則
2.2.1 Pearson correlation coefficient
用來度量數據間是否存在線性關系，也表征了變量間線性關系的強弱。它通過計算兩個數據集合之間的距離用來衡量兩個數據集合的線性相關度。設 N 幅人臉圖像的人工評分值為{ x1，x2，…，xi，…，xN} ，計算得到的分值為{ y1，y2，…，yi，…，yN } ，其中 xi 表示第i幅圖像的真值，yi 表示第i幅圖像的人臉顏值預測結果。相關系數 r 計算公式如式如下：
?
r 值越高，表示人工分類結果與本文方法預測結果越接近，該方法的性能就越好，反之，則越差，如下圖所示。
?
2.2.2 Maxumum absolute error和root mean square error
Maxumum absolute error就是真值和預測值的絕對差值，root mean square error就是誤差平方和的根，比較簡單就不列出公式了。
?
03 傳統方法研究思路
傳統方法研究思路，自然就是手動提取特征，我們基于參考文獻【3】來做說明。
分為幾何特征與表觀特征，幾何特征包括人臉關鍵特征點位置、關鍵位置距離信息以及人臉各器官面積比例；表觀特征包括LBP紋理特征。將這兩種特征進行串聯得到融合特征。
下面是具體的步驟。
3.1圖像預處理
人臉圖像收集時質量不同且伴有噪聲，明暗灰度也差異較大，對圖像進行預處理有助于后續對人臉特征的提取與計算。圖像預處理包括灰度化處理、位置檢測以及傾斜校正處理。
1.?將圖像轉化為灰度圖
2.?利用Haar分類器截取人臉的大致區域
3. 計算傾斜角并矯正
3.2 幾何特征提取
3.2.1 全局特征
根據ASM算法將68個人臉特征點的橫縱坐標連接起來構成表征人臉幾何特征關鍵點的特征向量，這就是全局特征。但是由于原始圖像角度問題會導致向量在計算過程中會出現誤差，所以要對向量進行歸一化處理，具體包括(1)平移不變處理(2)尺度不變處理(3)旋轉不變處理
3.2.2 人臉距離特征
人到一定年齡以后，面部的器官位置信息將不再隨著年齡的增長而變化( 手術或意外情況除外) ，基于ASM-68向量定義18個距離特征如下：
?
3.2.3 面積特征
根據 ASM定位的關鍵點找到表征各器官面積的三角形，如眼睛、鼻子、下巴、嘴等， 將得到的54個三角形面積特征歸一化后就可以得到三角形面積特征。
?
3.2 表觀特征提取
表觀特征表征的是人臉的整體外貌和人臉的皮膚狀況等信息。可以反映出如紋理信息、人臉皮膚的狀態、顏色深淺面部信息等。表觀特征選擇比較成熟的LBP特征。
LBP特征，就是在圖像的某個區域內，將中心像素點的像素值作為閾值，相鄰像素點與其進行對比，大于閾值標記為1，小于或等于則標記為0，產生8位二進制數，該值作為中心像素點的LBP值。當然，Gabor特征也是經常使用的。
3.3 特征融合與分類
3.3.1人臉特征融合
前面提取的幾何特征顯示了人臉關鍵特征點信息、人臉各器官間的距離比例信息以及面積特征等，表觀特征表征了人臉的全局紋理特性。由于都已經進行了歸一化處理，因此可以直接采用串聯的方式進行特征融合。
3.3.2 分類
融合了特征之后就可以進入分類器了，常用的是SVM。
在文【2】中分別采用了18維的距離特征和Gabor濾波特征，使用了linear regression，gaussian regression和support vector regression方法進行比較。效果如下：
?
從結果看來，對于幾何特征，gaussian regression和support vector regression表現更好均優于linear regression方法，而對于紋理特征，求取關鍵點的方法的不同，使得gaussian regression和support vector regression各有優劣。
?
04 深度學習方法研究思路
基于深度學習的方法，由于已經沒有了手設特征的一步，所以就只剩下優化目標的選擇和網絡的選擇。更強大的網絡，通常都有更好的性能，我們看看文【2】訓練的結果。
?
實驗結果表明符合我們的預測，網絡最強大的ResNext-50取得最優性能，同時，所有的網絡都優于最好的傳統方法。基于深度學習的方法沒有太多可以說的地方，懟數據就是正確答案。
?
05 總結
最后我們做一個總結。人臉顏值打分算法，雖然是一個比較主觀的問題，但是也可以取得比較統一的結果。它可以是一個分類問題，也可以是一個回歸問題。基于深度學習的方法+更大更高質量的數據集的整理，可以非常完美地解決這個問題。在各大軟件當中目前用于娛樂，但顏值算法同樣在美容等行業有一定價值，還有待應用。
?
同時，在我的知乎專欄也會開始同步更新這個模塊，歡迎來交流
https://zhuanlan.zhihu.com/c_151876233
注：部分圖片來自網絡
—END—
感謝各位看官的耐心閱讀，不足之處希望多多指教。后續內容將會不定期奉上，歡迎大家關注有三公眾號 有三AI！
?
?
?
總結
以上是生活随笔為你收集整理的【技术综述】人脸颜值研究综述的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【技术综述】闲聊图像分割这件事儿
- 下一篇： 【技术综述】人脸年龄估计研究现状