人脸识别数据集精粹（下）
人臉識別數據集精粹（下）
- 人臉檢測數據集
所謂人臉檢測任務，就是要定位出圖像中人臉的大概位置。通常檢測完之后根據得到的框再進行特征的提取，包括關鍵點等信息，然后做一系列后續的分析。
(1) Caltech 10000 Web Faces
數據集地址：http://www.vision.caltech.edu/Image_Datasets/Caltech_10K_WebFaces/。
發布于2007年，這是一個灰度人臉數據集，使用Google圖片搜索引擎用關鍵詞爬取所得，包含了7092張圖，10524個人臉，平均分辨率在304×312。除此之外還提供雙眼鼻子，和嘴巴共4個坐標位置，在早期被較多地使用，現在的方法已經很少用灰度數據集做評測。
(2) AFW
發布于2013年，目前官網數據鏈接已經失效，可以通過其他渠道獲得。AFW數據集是人臉關鍵點檢測非常早期使用的數據集，共包含205個圖像，其中有473個標記的人臉。每一個人臉提供了方形邊界框，6個關鍵點和3個姿勢角度的標注。
(3) FDDB
數據集地址：http://vis-www.cs.umass.edu/fddb/index.html。
發布于2010年，這是被廣泛用于人臉檢測方法評測的一個數據集。FDDB(Face Detection Data Set and Benchmark)的提出是用于研究無約束人臉檢測。所謂無約束指的是人臉表情、尺度、姿態、外觀等具有較大的可變性。FDDB的圖片都來自于 Faces inthe Wild 數據集，圖片來源于美聯社和路透社的新聞報道圖片，所以大部分都是名人，而且是自然環境下拍攝的。共2845張圖片，里面有5171張人臉圖像。
通常人臉檢測數據集的標注采用的是矩形標注，即通過矩形將人臉的前額，臉頰和下巴通過矩形包裹起來，但是由于人臉是橢圓狀的，所以不可能給出一個恰好包裹整個面部區域而無干擾的矩形。
在FDDB當中采用了橢圓標記法，它可以適應人臉的輪廓。具體來說，每個標注的橢圓形人臉由六個元素組成。(ra、rb、θ、cx、cy、s)，其中ra、rb是橢圓的半長軸、半短軸，cx、cy是橢圓的中心點坐標，θ是長軸與水平軸夾角(頭往左偏θ為正，頭往右偏θ為負)，s則是置信度得分。標注的結果是通過多人獨立完成標注之后取標注的平均值，而且排除了長或寬小于20個像素的人臉，遠離相機的人臉，被遮擋的人臉等。
(4) WIDER Face
數據集地址：http://mmlab.ie.cuhk.edu.hk/projects/WIDERFace/。
發布于2015年，FDDB評測標準由于只有幾千張圖像，這樣的數據集在人臉的姿態、尺度、表情、遮擋和背景等多樣性上非常有限，訓練出來的模型難以被很好的評判，算法很快就達到飽和。在這樣的背景下香港中文大學提出了Wider-face數據集，在很長一段時間里，大型互聯網公司和科研機構都在Wider-face上做人臉檢測算法競賽。
Wider-face總共有32203張圖片，共有393703張人臉，比FDDB數據集大10倍，而且在面部的尺寸、姿勢、遮擋、表情、妝容、光照上都有很大的變化，算法不僅標注了框，還提供了遮擋和姿態的信息，自發布后廣泛應用于評估性能比傳統方法更強大的卷積神經網絡。
Wider-face中的圖像分辨率較高，所有圖像的寬都縮放到1024像素，最小標注的人臉大小為10×10，平均一張圖超過10個人臉，密集小人臉非常多。訓練集，驗證集，測試集分別占40%，10%，50%，測試集非常大，結果可靠性高。
根據EdgeBox方法的檢測率Wider-face評測被劃分為三個難度等級：Easy, Medium, Hard，可以在各個任務維度上進行評測，比如Hard等級非常適合評測小臉檢測框架。
(5) MALF
數據集地址：http://www.cbsr.ia.ac.cn/faceevaluation/。
MALF（Multi-Attribute Labelled Faces）發布于2015年，是為了更加細粒度地評估野外環境中人臉檢測模型而設計的數據庫。數據主要來源于Internet，包含5250個圖像、11931個人臉。每一幅圖像包含正方形邊界框，頭部姿態的俯仰程度，包括小中大三個等級的標注。該數據集忽略了小于20×20或者非常難以檢測的人臉，共包含大約838個人臉，占該數據集的7%。同時該數據集還提供了性別，是否帶眼鏡、是否遮擋、是否是夸張的表情等輔助信息。
(6) MAFA
數據集地址：http://www.escience.cn/people/geshiming/mafa.html。
發布于2017年，這是一個遮擋人臉檢測數據集，總共包含30811張圖、35806張被遮擋的人臉，包含各種方向和尺度的遮擋。
它們首先將人臉分為4個區域，分為眼睛、鼻子、嘴巴、下頜，根據遮擋區域數量將遮擋程度分為三檔。weak occlusion對應一到兩個區域的遮擋，medium occlusion對應3個區域的遮擋，heavy occlusion對應4個區域的遮擋。
人臉方向包含5個，left、front、right、left-front及right-front。遮擋類型分為4個，即人造的純色遮擋物、人造的復雜紋理遮擋物、手/頭發等身體造成的自遮擋以及復雜類型。
(7) Unconstrained Face Detection Dataset（UFDD）
數據集地址：https://ufdd.info/。
發布于2018年，這是一個非限制場景下的人臉檢測數據集，總共包含6425張圖、10897張人臉，包含雨天(Rain)、雪天(Snow)、霧天(Haze)、模糊(Blur)、光照(Illumination)、晶體障礙(Lens impediments)和干擾物(Distractors)等7個場景。
除此之外，還有一些比較特殊的，比如魚眼人臉檢測數據集，由于比較小眾，就不再集中介紹。總的來說，人臉檢測數據集的發展歷史，就是不斷向真實復雜場景靠近。
- 關鍵點檢測
檢測到人臉后，下一步就是定位出關鍵點，關鍵點是人臉形狀的稀疏表示，它在人臉跟蹤、美顏等任務中都很重要，現在已經從最開始的5個關鍵點發展到了超過200個關鍵點的標注。
(1) LFPW、HELEN、AFW、IBUG、XM2VTS、FRGC-V2
首先是一些比較小和比較老的數據集，AFW前面已經介紹。
XM2VTS，發布于1999年，網址為http://www.ee.surrey.ac.uk/CVSSP/xm2vtsdb/，包含295個人、2360張正面圖，標注了68個關鍵點，大部分的圖像是無表情的，而且是在同樣的光照環境下。
AR人臉數據庫發布于1998年，網址為http://www2.ece.ohio-state.edu/~aleix/ARdatabase.html，包括126個人，超過4000張圖，標注了22個關鍵點。
FGVC-V2人臉數據庫發布于2005年，網址為https://www.nist.gov/programs-projects/face-recognition-grand-challenge-frgc，共466個人的4950張圖，包括均勻的光照條件下的高質量圖和不均勻的光照條件下的低質量圖，標注了5個關鍵點。
LFPW人臉數據庫，發布于2011年，網址為https://neerajkumar.org/projects/face-parts/，包括1432張圖像，標注了29個關鍵點。
Helen人臉數據庫，發布于2012年，網址為http://www.ifp.illinois.edu/~vuongle2/helen/，包括訓練集和測試集，測試集包含了330張人臉圖片，訓練集包括了2000張人臉圖片，都被標注了194個特征點。
IBUG人臉數據庫，發布于2013年，網址為https://ibug.doc.ic.ac.uk/resources/facial-point-annotations/，這是隨著300W一起發布的數據集，包含了135張人臉圖片，每張人臉圖片被標注了68個特征點。
(2) AFLW
數據集地址：https://www.tugraz.at/institute/icg/research/team-bischof/lrs/downloads/aflw/。
AFLW(Annotated Facial Landmarks in the Wild)是一個包括多姿態、多視角的大規模人臉數據庫，一般用于評估面部關鍵點檢測效果，圖片來自于flickr。總共有21997張圖，2593張面孔，每張人臉標注21個關鍵點，共380k個關鍵點，由于是肉眼標記，不可見的關鍵點不進行標注。
除了關鍵點之外，還提供了矩形框和橢圓框的臉部位置標注，其中橢圓框的標注方法與FDDB相同。另外還有從平均3D人臉重建提供的3D的人臉姿態角標注。
大部分圖像是彩色圖，也有少部分是灰度圖，59%為女性，41%為男性，這個數據集非常適合做多角度多人臉檢測，關鍵點定位和頭部姿態估計，是關鍵點檢測領域里非常重要的一個數據集。
下圖是上述數據集的標注的對比。
(3) 300W、300W挑戰賽與300VW、300VW挑戰賽
數據集地址：https://ibug.doc.ic.ac.uk/resources/300-W/。
發布于2013年，包含了300張室內圖和300張室外圖，其中數據集內部的表情、光照條件、姿態、遮擋、臉部大小變化非常大，是通過Google搜索“party”，“conference”等較難等場景搜集而來。該數據集標注了68個關鍵點，一定程度上在這個數據集能取得好結果的，在其他數據集也能取得好結果。
300W挑戰賽是非常有名的用于評測關鍵點檢測算法的基準，2013在ICCV舉辦了第一次人臉關鍵點定位競賽。300W挑戰賽所使用的訓練數據集實際上并不是一個全新的數據集，它是采用了半監督的標注工具，將AFLW、AFW、Helen、IBUG、LFPW、FRGC-V2、XM2VTS等數據集進行了統一標注然后得到的，關鍵信息是68個點。
在ICCV 2015年拓展成了視頻標注，即300 Videos in the Wild(300-VW)，數據集地址是
https://ibug.doc.ic.ac.uk/resources/300-VW/，感興趣讀者可以關注。
(4) MTFL與MAFL
數據集地址：http://mmlab.ie.cuhk.edu.hk/projects/TCDCN.html。
發布于2014年，這里包含了兩個數據集。
Multi-Task Facial Landmark(MTFL)數據集包含了12995張臉，5個關鍵點標注，另外也提供了性別、是否微笑、是否佩戴眼鏡以及頭部姿態的信息。
Multi-Attribute Facial Landmark(MAFL)數據集則包含了20000張臉，5個關鍵點標注與40個面部屬性，實際上MAFL被包含在了Celeba數據集中，該數據集我們后面會進行介紹。這兩個數據集都使用TCDCN方法將原來的標注拓展到了68個關鍵點的標注。
(5) WFLW
數據集地址：https://wywu.github.io/projects/LAB/WFLW.html。
WFLW包含了10000張臉，其中7500用于訓練，2500張用于測試，共98個關鍵點。除了關鍵點之外，還有遮擋、姿態、妝容、光照、模糊和表情等信息的標注。
由于人臉關鍵點是整個人臉任務中非常基礎和重要的，所以在工業界有更多的關鍵點的標注，因為商業價值，這些數據集一般不會進行公開。
前面介紹的關鍵點標注都是針對二維人臉圖像，超過200個點的標注已經是非常的密集，而對于3D人臉圖像，相關的開源三維人臉數據集以及Face++，美圖等企業都使用了超過1000個以上的稠密關鍵點。
- 人臉屬性數據集
人臉屬性識別在人機交互、安全控制、直播娛樂、自動駕駛等領域都非常具有應用價值，因此也已經得到了廣泛的研究。
7.1 通用人臉屬性分析數據集
(1) FaceTracer
數據集地址：https://www.cs.columbia.edu/CAVE/databases/facetracer/
發布于2008年，該數據集包括15000張人臉，共10組屬性，包括性別，種族，年齡，頭發顏色，是否佩戴眼鏡，是否有胡須，是否微笑，是否模糊，光照條件以及室內還是室外環境，這是比較早期的人臉屬性數據集。
(2) PubFig
數據集地址：https://www.cs.columbia.edu/CAVE/databases/pubfig/
發布于2009年，該數據集包括200個人的58797張人臉，來自于互聯網搜索，因此具有很好的姿態，光照，表情和場景多樣性，總共標注了73個人臉屬性。
(3) LFWA和CelebA
數據集地址：http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html。
兩者都發布于2015年，LFWA的圖片全部來自于LFW人臉識別數據集，CelebA則包含了10177個名人的202599張人臉圖片，它們標注的人臉屬性有40種，包括是否戴眼鏡，是否微笑等，是當前最大最廣泛使用的人臉屬性數據集。
(4) Fairface
數據集地址：https://github.com/joojs/fairface。
發布于2019年，共包括108501張圖。由于當前很多的人臉數據集中存在人種的不均衡，fairface建立了一個更加均衡的數據集。該數據集共包括white、black、Indian、East Asian、Southeast Asian、Middle East及Latino 7類人種，圖片來源于YFCC-100M Flickr數據集，標注屬性包括人種(Race)、性別(Gender)、年齡組(Age Group)。
類似的數據集還有IBM收集的Diversity in Faces(DiF)，同樣來自于YFCC-100M，有超過100萬的圖片。
7.2 人臉表情數據集
人臉表情識別（Facial Expression Recognition，FER）是人臉屬性識別技術中的一個重要組成部分，在人機交互、安全控制、直播娛樂、自動駕駛等領域都非常具有應用價值，因此在很早前就已經得到了研究。
(1) The Japanese Female Facial Expression(JAFFE) Database
數據集鏈接：http://www.kasrl.org/jaffe.html。
1998年發布，這是比較小和老的數據庫。該數據庫是由10位日本女性在實驗環境下根據指示做出各種表情，再由照相機拍攝獲取的人臉表情圖像。整個數據庫一共有213張圖像，10個人，全部都是女性，每個人做出7種表情，這7種表情分別是sad、happy、angry、disgust、surprise、fear、neutral，每組大概20張樣圖。
(2) KDEF與AKDEF(Karolinska Directed Emotional Faces)
數據集地址：http://www.emotionlab.se/kdef/。
發布于1998年，這個數據集最初是被開發用于心理和醫學研究目的。它主要用于知覺、注意、情緒、記憶等實驗。在創建數據集的過程中，特意使用比較均勻，柔和的光照，被采集者身穿統一的T恤顏色。這個數據集，包含70個人、35個男性、35個女性，年齡在20至30歲之間。沒有胡須、耳環或眼鏡，且沒有明顯的化妝。7種不同的表情，每個表情有5個角度。總共4900張彩色圖，尺寸為562×762像素。
(3) GENKI
數據集地址：http://mplab.ucsd.edu。
發布于2009年，GENKI數據集是由加利福尼亞大學的機器概念實驗室收集。該數據集包含GENKI-R2009a、GENKI-4K、GENKI-SZSL三個部分。GENKI-R2009a包含11159個圖像，GENKI-4K包含4000個圖像，分為“笑”和“不笑”兩種，每個圖片擁有不同的尺度大小、姿勢、光照變化、頭部姿態，可專門用于做笑臉識別。這些圖像包括廣泛的背景、光照條件、地理位置、個人身份和種族等。
(4) RaFD
數據集地址：http://www.socsci.ru.nl:8180/RaFD2/RaFD?p=main。
發布于2010年，該數據集是Radboud大學Nijmegen行為科學研究所整理的，這是一個高質量的臉部數據庫，總共包含67個模特，其中20名白人男性成年人，19名白人女性成年人，4個白人男孩，6個白人女孩，18名摩洛哥男性成年人。總共8040張圖，包含8種表情，即憤怒、厭惡、恐懼、快樂、悲傷、驚奇、蔑視和中立。每一個表情，包含3個不同的注視方向，且使用5個相機從不同的角度同時拍攝的。
(5) Cohn-Kanade AU-Coded Expression Database
數據集地址：http://www.pitt.edu/~emotion/ck-spread.htm。
發布于2010年，這個數據庫是在Cohn-Kanade Dataset的基礎上擴展來的，它包含137個人的不同人臉表情視頻幀。這個數據庫比起JAFFE要大的多。而且也可以免費獲取，包含表情的標注和基本Action Units 的標注。
(6) Fer2013
數據集地址：https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge/data。
發布于2013年，該數據集包含共26190張48×48灰度圖，圖片的分辨率比較低，共6種表情。分別為anger生氣、disgust厭惡、fear恐懼、happy開心、sad傷心、surprised驚訝、normal中性。
(7) RAF（Real-world Affective Faces）
數據集地址：http://www.whdeng.cn/RAF/model1.html。
發布于2017年，包含總共29672張圖片，其中7個基本表情和12個復合表情，而且每張圖還提供了5個精確的人臉關鍵點，年齡范圍和性別標注。
(8) EmotioNet
數據集地址：http://cbcsl.ece.ohio-state.edu/EmotionNetChallenge/。
發布于2017年，共950，000張圖，其中包含基本表情、復合表情，以及表情單元的標注。
(9) AffectNet
數據集地址：http://mohammadmahoor.com/affectnet/。
發布于2017年，數據集的采集使用6種不同語言的1250個關鍵詞在搜索引擎中進行檢索，最后超過42萬張圖。標注類型包括表情類型和幅度，其中表情類型包括中性表情(Neutral)、高興(Happiness)、悲傷(Sadness)、驚訝(Surprise)、害怕(Fear)、厭惡(Disgust)、憤怒(Anger)、輕蔑(Contempt)等8種基本表情，以及無表情(None)、不確定(Uncertain)、無人臉(No-Face)。
表情識別目前的關注點已經從實驗室環境下轉移到具有挑戰性的真實場景條件下，研究者們開始利用深度學習技術來解決如光照變化、遮擋、非正面頭部姿勢等問題，仍然有很多的問題需要解決。
另一方面，盡管目前表情識別技術被廣泛研究，但是我們所定義的表情只涵蓋了特定種類的一小部分，尤其是面部表情，而實際上人類還有很多其他的表情。表情的研究相對于顏值年齡等要難得多，應用也要廣泛的多，相信這幾年會不斷出現有意思的應用。
7.3 人臉年齡與性別數據集
人臉的年齡和性別識別在安全控制，人機交互領域有著非常廣泛的使用，而且由于收到妝造等影響，人臉的年齡估計仍然是一個難點。
(1) FGNet
數據集地址：http://www-prima.inrialpes.fr/FGnet/html/benchmarks.html。
發布于2000年，這是第一個意義重大的年齡數據集，包含了82個人的1002張圖，年齡范圍是0到69歲。
(2) CACD2000
數據集地址：http://bcsiriuschen.github.io/CARC/。
發布于2013年，這是一個名人數據集，包含了2000個人的163446張名人圖片，其范圍是16到62歲。
(3) Adience
數據集地址：https://www.openu.ac.il/home/hassner/Adience/data.html#frontalized。
發布于2014年，這是采用iPhone5或更新的智能手機拍攝的數據，共2284個人26580張圖像。它的標注采用的是年齡段的形式而不是具體的年齡，其中年齡段為（0-2、4-6、8-13、15-20、25-32、38-43、48-53、60+）。
(4) IMDB-wiki
數據集地址：https://data.vision.ee.ethz.ch/cvl/rrothe/imdb-wiki/。
發布于2015年，IMDB-WIKI人臉數據庫是由IMDB數據庫和Wikipedia數據庫組成，其中IMDB人臉數據庫包含了460723張人臉圖片，而Wikipedia人臉數據庫包含了62328張人臉數據庫，總共523051張人臉數據。都是從IMDb和維基百科上爬取的名人圖片，根據照片拍攝時間戳和出生日期計算得到的年齡信息，以及性別信息，對于年齡識別和性別識別的研究有著重要的意義，這是目前年齡和性別識別最大的數據集。
(5) MORPH
數據集地址：http://www.faceaginggroup.com/morph/。
發布于2017年，包括13000多個人的55000張圖，年齡范圍是16到77。
7.4 人臉分割數據集
人臉屬性分割可以用于對人臉進行編輯以及輔助其他人臉相關的任務。
(1) Helen Parsing Dataset
數據集地址：http://www.cs.wisc.edu/~lizhang/projects/face-parsing/。
發布于2013年，Helen Parsing dataset是將關鍵點檢測數據集Helen Dataset進行掩膜標注后得到的人臉圖像分割數據集，包含2000張訓練圖像和330張測試圖像。數據集共包含10類面部區域的標注，分別是Face skin、Left eye、Right eye、Left brow、Right brow、Nose、Inner mouth、Upper lip、Lower lip、Background，標注的方法是每一個類別都單獨存儲為一張圖片。
(2) CelebAMask-HQ
數據集地址：https://github.com/switchablenorms/CelebAMask-HQ。
發布于2019年，CelebAMask-HQ是從CelebA-HQ數據集中標注的30000張人臉屬性分割數據集，其中圖像大小均為512×512，包含19個類別，分別是skin、nose、eyes、eyebrows、ears、mouth、lip、hair、hat、eyeglass、earring、necklace、neck及cloth區域。
7.5
人臉顏值數據集
人臉顏值和吸引度在社交平臺和圖像質量評估上都有應用。
(1) SCUT-FBP5500
數據集地址：https://github.com/HCIILAB/SCUT-FBP5500-Database-Release。
發布于2017年，數據集共5500個正面人臉，年齡分布為15-60，全部都是自然表情。包含不同的性別分布和種族分布（2000亞洲女性、2000亞洲男性、750高加索男性、750高加索女性），數據分別來自于數據堂，US Adult database等。每一張圖由60個人進行評分，共評為5個等級，這60個人的年齡分布為18～27歲，均為年輕人。適用于基于表觀和形狀等的模型研究。同時，每一個圖都提供了86個關鍵點的標注。
(2) Selfier
數據集地址：https://www.crcv.ucf.edu/data/Selfie/。
發布于2015年，作者們從http://selfeed.com網站上收集了46,836張自拍圖，然后標注了36種屬性，分為以下組別，前面是屬性，后面是具體的分類。
性別：is female。
年齡：baby、child、teenager、youth、middle age、senior。
種族：white、black、asian。
臉型：oval、round、heart。
臉部表情：smiling、frowning、mouth open、tongue
out、duck face。
頭發顏色：black、blond、brown、red。
發型：curly、straight、braid。
裝飾：glasses、sunglasses、lip- stick、hat、earphone。
其他.：showing cellphone、using mir-ror、having braces、partial face。
光照條件：harsh、dim。
每一張圖像都標注了受歡迎的分數，該數據集可以用于研究人臉屬性與受歡迎程度之間的關系。
7.6 人臉妝造數據集
妝造在人臉圖像中是普遍存在的，人臉的上妝與去妝，抗裝造干擾的人臉識別也是一種具有挑戰性的問題。
(1) YMU，VMU，MIW，MIFS等妝造數據集
數據集地址：http://www.antitza.com/makeup-datasets.html。
發布于2012年，這是一個女性面部化妝數據集，可用于研究化妝對面部識別的影響。總共包括4個子數據集：
YMU（YouTube化妝）：這是從YouTube視頻化妝教程中獲取的面部圖像，YouTube網址為http://www.antitza.com/URLs_YMU.txt。
VMU（虛擬化妝）：這是將從FRGC數據庫中采集的高加索女性受試者的面部圖像，使用
公開的軟件來合成的虛擬化妝樣本，軟件來自http://www.taaz.com。
MIW：從互聯網獲得有化妝和沒有化妝的受試者的前后對比面部圖像。
MIFS：化妝誘導面部欺騙數據集：這是從YouTube化妝視頻教程的107個化妝視頻中獲取。每一組包含3張圖片，其中一張圖片是目標的化妝前的主體圖像，一個是化妝后的，另一個是其他人化同樣的妝試圖進行欺騙的圖片。
(2) 妝造遷移數據集
數據集地址：http://liusi-group.com/projects/BeautyGAN。
發布于2018年，包括3834張女性人臉圖，其中1115張無妝造人臉，2719張有妝造人臉。妝造類型包括不同程度的煙熏妝(smoky-eyes makeup
style)、華麗妝(flashy makeup style)、復古妝(Retro makeup style)、韓式妝(Korean makeup
style)及日式妝(Japanese makeup style)。
總結
本次我們給大家介紹了人臉相關的主要數據集，人臉圖像屬于最早被研究的一類圖像，也是計算機視覺領域中應用最廣泛的一類圖像，其中需要使用到幾乎所有計算機視覺領域的算法，可以說掌握好人臉領域的各種算法，基本就玩轉了計算機視覺領域。
總結
以上是生活随笔為你收集整理的人脸识别数据集精粹（下）的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 人脸识别数据集精粹（上）
- 下一篇： CUDA运行时Runtime（三）