「技术综述」人脸脸型分类研究现状
https://www.toutiao.com/i6711561945733923336/
?
作者 |?王朋強
編輯 | 言有三
今天給大家帶來一篇人臉識別中的臉型識別，不同的臉型適合的眼鏡發型不同，那么計算機要如何基于人臉圖像來確定臉型呢？
1 概述
人臉臉型就是指我們平時常說的，瓜子臉、圓臉、方臉等。人臉臉型分類就是算法根據一張包含面部的照片推測出人臉屬于那種臉型，是人人都愛的瓜子臉還是有正義感的國字臉(也就是方形臉)等。
人臉臉型分類過程一般分為人臉檢測、面部特征點定位，然后在此基礎上根據合適的參數進行分類，例如人臉的寬高比、眼睛位置等。
目前比較大的幾個平臺中，在騰訊AI平臺和face++人工智能開放平臺的人臉檢測、人臉屬性功能中都沒有提供臉型分類的輸出信息，只有在百度云的人臉識別中有臉型分類的輸出結果。如下是face++人工智能開放平臺的人臉識別演示，包含了常見的年齡、性別等，但是沒有臉型結果：
?
在百度云的人臉識別的人臉檢測與屬性分析中有實現臉型分類的輸出結果。接下來我們測試一下分類效果，實際檢測輸出包括年齡、性別、表情等，為了演示只保留了臉型結果。使用測試圖像前六幅來自celebA數據集，第七幅和第八幅正臉和側臉對比的圖像來自IMM數據集，最后一幅是百度云平臺的演示圖片。測試圖像中選取了戴墨鏡、帽子和胡子的人像，還有頭發有遮擋的，同一人同背景的正臉和側臉，總體分類效果很好，不過由于對于臉型分類主觀因素影響比較大，有幾個個人感覺應該是瓜子臉的分為了心形，同時由于側臉臉部特征比較少，缺少橫向的寬度等信息，分類不夠準確。百度云的分類結果分為5類，方形(square)、三角形(triangle)、橢圓形(oval)、心形(heart)和圓形(round)。以下是百度云的臉型分類的效果：
鏈接是https://cloud.baidu.com/product/face?
?
?
?
?
?
?
?
?
人臉臉型分類可以進一步輔助人臉表情識別，還可以根據臉型選擇合適得眼鏡、發型等，美容行業也可以根據臉型進行五官調整。
2 人臉臉型數據集
關于人臉臉型得數據集，并沒專門公開的做好臉型標注的數據集。論文研究中常用的數據集有CAS-PEAL、JAFFE數據集，都需要手動進行標記。當然也可以爬取一下圖片，借助現有的百度云平臺，來對進行數據集進行標注，再進行人工評判篩選。
2.1 JAFFE數據集
網址：http://www.kasrl.org/jaffe.html介紹：JAFFE是日本女性臉部表情數據集(Japanese Female Facial Expression)，其中包括了10個日本女性的213幅表情圖像，其中6個是基本表情，例如笑，驚訝，生氣等，還有一個是中性表情（即自然狀態下的表情），每幅圖像的表情是選擇了60人來評判。
大小：10位日本女性的213幅圖像。
標簽：高興, 悲傷, 害怕, 生氣, 驚訝, 厭惡, 中性
?
2.1 CAS-PEAL人臉數據集
網址：http://www.jdl.ac.cn/peal/介紹：CAS-PEAL Face Database是由中科院和北京大學的先進人機通信技術聯合實驗室聯合建立的數據集。建立該數據庫的目的是為全世界范圍的人臉識別研究提供大規模的中國人人臉數據去訓練和提高算法。其中CAS-PEAL-R1是CAS-PEAL的一個子數據集。CAS-PEAL數據集需要申請才可以使用。
大小：
CAS-PEAL: 99594幅圖像涉及1040個人(595位男性和445位女性)。
CAS-PEAL-R1: 30900幅圖像涉及1040個人
標簽：表情
?
2.3 CelebA數據集
網址：http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html介紹：celebA(CelebFaces Attributes Dataset)數據集是大規模的名人人臉屬性數據庫，有超過200k的名人圖像，每幅圖像有40個屬性標注，包括是否是圓臉、有沒有戴眼鏡、有沒有戴項鏈、性別等等。
大小：202,599幅臉部圖像
標簽：性別、是否屬于圓臉、有無眼鏡、有無項鏈、是否帶帽子、有無胡須、濃妝淡妝等。
?
3 臉型分類方法
傳統的方法是擬合人臉輪廓曲率來進行分類的，主要是利用臉部和下巴的曲線建立模型【1】。大部分提取面部特征使用的方法都是ASM和AAM，提取出特征之后的使用的分類算法不同，有以下幾種：
3.1 SVM【2】
分類方法：
支持向量機SVM一般用來處理二分類問題，對于多個類別可以將多個二分類的SVM組合到一起生成一個多分類SVM，例如one-versus-one。One-versus-one multiclass SVM 是一種高效的分類方法，分類過程類似于投票過程。例如分三類A，B，C。那么將這三類兩兩組合形成二分類SVM，如SVM1（A，B），SVM2（A，C）,SVM3（B，C），然后將三個二分類SVM使用到同一樣本，統計樣本被分為A，B，C類的個數，例如SVM1和SVM2分類結果都是A，SVM3分類結果是C，那么A的票最高，最終分類結果就是A。
分類過程：
1） 利用AAM方法建立模型提取特征；
2） 每個臉型選取一部分數據訓練出一個3分類的SVM；
分類結果：
在論文中研究人員將臉型分為三類瓜子臉，圓臉和方形臉，然后選擇取了513幅瓜子臉圖像、538幅圓臉圖像和434幅方形臉圖像進行訓練，最終使用180幅圖像作為測試，測試結果瓜子臉識別率：90%，圓臉識別率：93.3%，方形臉識別率：85%。分類準確率不高的原因是研究中使用的數據集是JAFFE數據集，該數據是一個表情數據集，由于有些表情會造成面部變動很大影響分類，例如帶有驚訝表情的面部會被識別為瓜子臉。
?
臉型類型
?
測試準確率
?
驚訝表情的面部會被錯誤分為瓜子臉
3.2 KNN方法【4】
分類特征：
?
利用圖中紅色圈出來的點可以計算面寬Wshape、下頜寬Wmandible、形態面高Hshape3個測量參數。面寬去左右顴點的歐氏距離，下頜寬取左右下頜角點歐氏距離，形態面高取鼻根點與頦下點間歐氏距離【3】【4】。
形態面指數：
?
顴下頜寬指數：
?
將以上這些參數作為臉型分類的特征進行分類。
分類過程：1、利用ASM獲取形狀特征點集；2、計算形態面指數和顴下頜寬指數，若形態面指數大于0.915歸為長臉；3、歸為長臉的樣本若顴下頜寬大于0.875歸為方圓下巴長臉，否則歸為尖下巴長臉。面型指數小于0.915的樣本，需要將形態面指數和顴下頜寬指數和樣本庫中的樣本做比對，求取k個近鄰得到臉型類別。
分類結果：
研究人員使用的是CAS-PEAL數據集，使用了其中1200張溫和光照、中性表情的正面人臉，由20人投票將人臉庫分為了三角臉、橢圓臉、圓臉、方臉、尖下巴長臉和方圓下巴長臉6類，分類精確率統計如下表：
?
由于臉型的分類實際上是一個比較簡單的問題，輸入正臉后就是一個簡單的深度學習分類問題，
3.3 SVM-RBF方法【5】
分類特征：提取了臉部的61個特征點，采用下表對特征點處理得到19個表征臉型的特征參數，采用這19個特征進行訓練和預測。
?
?
分類過程：1、利用AAM獲取臉部特征點；2、根據上面的表格計算表征臉型的19個特征；3、利用SVM-RBF進行分類；論文中還是用了LDA(Linear Discriminant Analysis)和SVM-Linear方法，不過效果都沒有SVM-RBF好。
分類結果：實驗中數據是從Google搜索的1000張女性臉部圖像，訓練集和測試集按照9:1進行分配。SVM-RBF的分類結果最好，平均準確率可以達到72%；其次是SVM-Linear方法，平均準確率有64%；LDA方法最差，平均準確率只有58%。
?
?
?
3.2 最近鄰法【6】
分類特征：用于臉型分類的幾何特征，G1：整個臉部輪廓的最佳擬合橢圓；G2：下巴特征點的最佳擬合橢圓；G3：臉頰特征點的最佳擬合橢圓；G4：下巴的連線；G5：太陽穴連線；G6：對角線；
根據這6個特征，獲取到一個表征臉型的8為特征向量F：(F1-F3)是(G1,G2,G3)的高度對G5長度歸一化得到的，(F4-F6)是臉部輪廓到(G1,G2,G3)的距離對G5的長度歸一化獲得，F7是G4對G5歸一化得到，F8是兩個對象線長度的平均對G5歸一化獲得。
?
分類方法：最終分類根據兩個臉型特征向量之間的距離確定，距離最近的即為同一類。
?
分類結果：論文中使用300幅圖像作為訓練，使用了100幅圖像用來測試。出去由于臉部特征提取失敗引起的錯誤，最終分類準確率在90%。
基于深度學習的方法已經大大簡化了流程，準備好足夠多的數據，這就是一個普通的分類任務。不得不感嘆，深度學習讓很多傳統方法再也無路可走。
4 總結
臉型分類可以應用在發型設計，眼鏡框選擇和美容行業，還可以用在虛擬化妝中，根據臉型確定哪里需要陰影等。總得來說根據正臉圖像進行臉型分類準確率很高，但是對側臉的圖像，側臉臉部特征比較少，無法正確判斷臉部的比例，因此準確率比較低，如果采用的3D的信息側臉分類效果應該會有所提升。
參考文獻：
[1]魏偉. 基于主動形狀模型人臉識別算法的研究與實現[D].復旦大學,2012.
[2]L. Li, J. So, H.-C. Shin, and Y. Han. “An AAM-based face shape classi?cation method used for facial expression recognition,” International Journal of Research in Engineering and Technology, vol. 2, pp. 164–168, 2013.
[3]趙薇,汪增福.用于大庫人臉識別的臉型分類研究[J].電子技術,2009,36(11):77-79+68.
[4]劉雙成,蔡曉東,張力,畢偉偉,梁建勇.基于主動形狀模型和K近鄰算法的人臉臉型分類[J].桂林電子科技大學學報,2014,34(06):479-483.
[5]Wisuwat Sunhem, Kitsuchart Pasupa,"An Approach to Face Shape Classi?cation for Hairstyle Recommendation", International Conference on Advanced Computational Intelligence, 8th
[6]Amir Zafar, Tiberiu Popa , "Face and Eye-ware Classi?cation using Geometric Features for a Data-driven Eye-ware Recommendation System ",Proceedings of Graphics Interface 2016: Victoria, British Columbia, Canada, 1-3 June 2016, 183-188
總結
以上是生活随笔為你收集整理的「技术综述」人脸脸型分类研究现状的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： c++题目兔子繁殖
- 下一篇： 安装了office但是新建没有