人脸识别数据集精粹（上）
人臉識別數據集精粹（上）
- 人臉識別
人臉檢測和關鍵點檢測都是比較底層的任務，而人臉識別是更高層的任務，它就是要識別出檢測出來的人臉是誰，完成身份比對等任務，也是人臉領域里被研究最多的任務。
1.1 人臉識別圖片數據集
(1) FERET
數據庫地址：http://www.nist.gov/itl/iad/ig/colorferet.cfm。
發布于1993年至1996年，由FERET項目創建，包含14051張多姿態，不同光照的灰度人臉圖像，每幅圖中均只有一個人臉，在早期的人臉識別領域應用非常廣泛。
(2) Yale與YALE B
數據集地址：http://vision.ucsd.edu/~iskwak/ExtYaleDatabase/Yale%20Face%20Database.htm。
Yale人臉數據庫與YALE人臉數據庫B分別發布于1997年和2001年，這是兩個早期的灰度數據集。Yale人臉數據庫由耶魯大學計算視覺與控制中心創建，包含15位志愿者的165張圖片，包含光照、表情和姿態的變化。
后面將其拓展到YALE人臉數據庫B，包含了10個人的5760幅多姿態，多光照的圖像。具體包括9個姿態、64種光照變化，在實驗室嚴格控制的條件下進行。雖然每個人的圖像很多，但是由于采集人數較少，該數據庫的進一步應用受到了比較大的限制。
(3) LFW
數據集地址：http://vis-www.cs.umass.edu/lfw/index.html#download。
Labeled Faces in the Wild（LFW）發布于2007年，是為了研究非限制環境下的人臉識別問題而建立，這是比較早期而重要的測試人臉識別的數據集，所有的圖像都必須要能夠被經典的人臉檢測算法VJ算法檢測出來。
該數據集包含5749個人的13233張全世界知名人士的圖像，其中有1680人有2張或2張以上人臉圖片。它是在自然環境下拍攝的，因此包含不同背景、朝向、面部表情，且每個圖像都被歸一化到250×250大小。
CALFW數據集是LFW數據集的拓展，地址為http://www.whdeng.cn/calfw/index.html?reload=true，它包含了3000對具有較大年齡跨度的人臉圖像，可以用于評估人臉識別算法在跨年齡識別中的性能。
(4) CAS-PEAL
數據集地址：http://www.jdl.ac.cn/peal/。
發布于2008年，CAS-PEAL數據集是中國科學院收集建立的，它主要是為了提供一個大規模的中國人臉數據集用于訓練和評估對應東方人的算法，有灰度圖和彩色圖兩個版本。目前，CAS-PEAL人臉數據庫由1040個人（595名男性和445名女性）的99594張圖像組成，在特定環境下具有不同的姿勢、表情、照明條件、表情以及是否佩戴眼鏡等信息。對于每個被拍攝的人，通過9個相機來同時捕獲不同姿態的圖像，平均每一個人采集了約900張圖像。
(5) CMU PIE與Multi-PIE
CMU PIE數據集地址：https://www.ri.cmu.edu/publications/the-cmu-pose-illumination-and-expression-pie-database-of-human-faces/
Multi-PIE數據集地址：http://www.cs.cmu.edu/afs/cs/project/PIE/MultiPie/Multi-Pie/Home.html。
CMU PIE數據集發布于2000年，PIE就是姿態(Pose)、光照(Illumination)和表情(Expression)的縮寫，包含68位志愿者的41368張圖，每個人有13種姿態條件，43種光照條件和4種表情。其中的姿態和光照變化圖像也是在嚴格控制的條件下采集的，它在推動多姿勢和多光照的人臉識別研究方面具有非常大的影響力，不過仍然存在模式單一多樣性較差的問題。
為了解決這些問題，卡內基梅隆大學的研究人員在2009年建立了Multi-PIE數據集。它包含337個人，在15個角度，19個照明條件和不同的表情下記錄，最終超過750000個圖像。由于圖像質量較高，原始的圖片大小超過了300G，需要購買。
(6) Pubfig
數據集地址：http://www.cs.columbia.edu/CAVE/databases/pubfig/。
發布于2010年，這是哥倫比亞大學的公眾人物臉部數據集，包含有200個人的58797張人臉圖像，主要用于非限制場景下的人臉識別。與LFW相比，這個數據集更大，但是人更少，每個人的圖片更多。
(7) MSRA-CFW
數據集地址：http://research.microsoft.com/en-us/projects/msra-cfw/。
發布于2012年，由微軟亞洲研究院收集整理，包含1583個人的202792張圖像，采用了自動標注的方法。
(8) CASIA-WebFace
數據集地址：http://classif.ai/dataset/casia-webface/。
發布于2014年，這是中國科學院自動化研究所李子青實驗室開放的國內非常有名的數據集，包含10575個人494414張圖。
(9) FaceScrub
數據集地址：http://vintage.winklerbros.net/facescrub.html。
發布于2016年，總共包含了530個人的106863張圖片，其中男性女性各占265，分別包括55306和51557張圖，每個人大概200張圖。
(10) UMDFaces
數據集地址：http://www.umdfaces.io/。
發布于2016年，這個數據集有靜態圖和視頻兩部分，其中靜態圖包含8277個人的367888張臉，視頻包含22075個視頻中的3107個人的3735476張圖。同時標注了21個關鍵點，性別信息，以及人的3個姿態。
(11) MegaFace
數據集地址：http://megaface.cs.washington.edu/dataset/download.html。
發布于2016年，MegaFace數據集包含一百萬張圖片，共690000個不同的人，所有數據都是華盛頓大學從Flickr組織收集。這是第一個在一百萬規模級別的面部識別算法測試基準。現有臉部識別系統仍難以準確識別超過百萬的數據量。為了比較現有公開臉部識別算法的準確度，華盛頓大學在2017年底開展了一個名為“MegaFace Challenge”的公開競賽。這個項目旨在研究當數據庫規模提升數個量級時，現有的臉部識別系統能否維持可靠的準確率。
(12) MS-Celeb-1M
數據集地址：https://www.msceleb.org/。
發布于2016年，這是目前世界上規模最大、水平最高的圖像識別賽事之一，由微軟亞洲研究院發起，每年定期舉辦。參賽隊伍被要求基于微軟云服務，搭建包括人臉檢測、對齊、識別的完整人臉識別系統，而且識別系統必須先通過遠程實驗評估。
訓練集合包含10M圖片，具體的操作是從1M個名人中，根據他們的受歡迎程度，選擇100K個，然后利用搜索引擎，給100K個人每人搜大概100張圖片。共得到100K*100=10M個圖片。測試集包括1000個名人，這1000個名人來自于1M個明星中隨機挑選，每個名人大概有20張圖片。
(13) VGG Face與VGG Face2
數據集地址：http://www.robots.ox.ac.uk/~vgg/data/vgg_face2/
VGG Face數據集發布于2015年，包括2622個對象且每個對象擁有約1000幅靜態圖像。VGG Face2數據集發布于2017年，包含了9131個人的3.31百萬張圖片，平均每一個人有362.6張圖。這個數據集人物ID較多，且每個ID包含的圖片個數也較多。數據集覆蓋了大范圍的姿態、年齡和種族，其中約有59.7%的男性。除了身份信息之外，數據集還包括人臉框、5個關鍵點，以及估計的年齡和姿態。
(14) IARPA Janus Benchmark
數據集地址：https://www.iarpa.gov/index.php/research-programs/janus。
美國國家技術標準局（NIST）在2015年召開的CVPR上發布了IJB-A人臉驗證與識別數據集，IJB-A數據包含來自500個對象的5396幅靜態圖像和20412幀的視頻數據。被拍攝者來自世界不同國家、地區和種族，具有廣泛的地域性，在完全無約束環境下采集的。很多被拍攝者的面部姿態變化巨大，光照變化劇烈以及擁有不同的圖像分辨率。
另外，數據集引入了“模板”的概念，即在無約束條件下采集的、所有感興趣面部媒體的一個集合，這個媒體集合不僅包括被拍攝者的靜態圖像，也包括視頻片段。因此一個模板代表一個集合，最終的人臉驗證與識別不是基于單個圖像，而是基于集合對集合。
此后，2017年迭代到IARPA Janus B，2018年迭代到IARPA Janus C，這是業界非常具有難度的人臉識別競賽。
(15) IMDB-Face
數據集地址：https://github.com/fwang91/IMDb-Face#data-download。
發布于2018年，這是一個經過人工清理標簽的干凈人臉識別數據集，包含590000個人，170萬張圖。數據來源于IMDb網站，清理數據集耗費了50個人共1個月的時間，由于數據集質量更高，可以用更少的數據完成相關任務。
1.2
人臉識別視頻數據集
(1) YouTube Faces DB
數據集地址：http://www.cs.tau.ac.il/~wolf/ytfaces/results.html。
發布于2011年，這是一個視頻數據集，也是用來做人臉驗證的。它包含了1595個人的3425段視頻，最短的為48幀，最長的為6070幀。和LFW不同的是，在這個數據集下，算法需要判斷兩段視頻里面是不是同一個人，有不少在照片上有效的方法，在視頻上可能會失敗。
(2) PaSC
數據集地址：https://www.nist.gov/programs-projects/point-and-shoot-face-recognition-challenge-pasc。
發布于2014年，這是一個圖片和視頻人臉數據集，包含9376張靜態圖以及293個人的2802個視頻。
(3) iQIYI-VID
數據集地址：http://challenge.ai.iqiyi.com/detail?raceId=5b1129e42a360316a898ff4f。
發布于2018年，iQIYI-VID是當前全球最大的明星視頻數據集，數據集包含5000位明星藝人，長達1000小時、50萬條視頻片段，每條視頻的長度是1~30秒，可以進行多模態(人臉、聲音、動作及服裝等特征)人物識別的挑戰研究。
1.3 三維人臉識別數據集
(1) ND-2006
數據集地址：https://cvrl.nd.edu/projects/data/#nd-2006-data-set。
發布于2006年，包含888個人，每一個人約60張圖，共13450張圖，包含6種不同的表情。
(2) bosphorus
數據集地址：http://bosphorus.ee.boun.edu.tr/。
發布于2008年，這是一個使用結構光設備采集的3D人臉數據集數據集，它包含了105個人的4666張三維人臉圖片，被采集者距離設備1.5m，采集的姿態為正臉。
1.4 人臉識別其他數據集
(1) FIW
數據集地址：https://web.northeastern.edu/smilelab/fiwkinship/
發布于2017年，這是一個研究親屬人臉識別算法的數據集，總共包含1000個家庭的11163張圖片，每一個家庭至少3個成員，8張圖片。
(2) MeGlass
數據集地址：https://github.com/cleardusk/MeGlass。
發布于2019年，這是一個戴眼鏡的人臉識別數據集，眼鏡對人臉識別問題會造成一定的困擾，MeGlass是一個仿真的戴眼鏡人臉識別數據集，包括1710個人的14 832張有眼鏡圖和33087張無眼鏡圖，所有的圖片來自于MegaFace。
(3) LAG
數據集地址：http://www.ivl.disco.unimib.it/activities/large-age-gap-face-verification/。
發布于2018年，LAG Dataset是一個跨年齡的人臉識別數據集，它包括1010個人的3828張圖片，每一個人都至少包括一組小孩/年輕，或者成人/老人的照片。
(4) iCartoonFace
數據集地址：http://www.ivl.disco.unimib.it/activities/large-age-gap-face-verification/。
發布于2019年，iCartoonFace是一個卡通人臉識別數據集，它包括2639個人物形象，68312張圖片，來自于愛奇藝中的卡通視頻和搜索引擎中的圖片。
(5) RFW
數據集地址：http://whdeng.cn/RFW/index.html。
發布于2019年，這是一個研究人臉識別算法中種族偏移問題的數據集，總共包含4類人種，即Caucasian, Indian, Asian, African。
其中Caucasian作為訓練集，包含10000個人的468139張臉，測試集則包含4類人種。其中Caucasian包含2959個人，10196張臉。Indian包含2984個人，10308張臉。Asian包含2492個人，9688張臉。African包含2995個人，10415張臉。
人臉識別雖然在百萬級別的數據集如MegaFace等都已經達到相當高的水準，但是在現實世界中面臨各種姿態，分辨率、遮擋等問題，仍然有較大的研究空間。
- 人臉活體與偽造數據集
在金融支付、門禁等應用場景，活體檢測用來驗證是否是真實的本人還是一張圖片或者一段視頻。隨著當前人臉偽造技術的發展，偽造人臉圖像的檢測也是一個重要的問題。
2.1 人臉活體數據集
(1) NUAA
數據集地址：http://parnec.nuaa.edu.cn/xtan/data/nuaaimposterdb.html
發布于2010年，這是一個重放攻擊人臉數據集，包含15個人采集的照片。采集時使用20fps，對每一個正面人臉姿態和中性表情進行采集，每一個人采集500張圖，分辨率大小為640×480，人臉圖像采集使用了Canon相機，而偽造人臉則使用相機紙打印和A4紙打印，上圖展示了一些樣本。
(2) Replay-Attack Database
數據集地址：https://www.idiap.ch/dataset/replayattack。
發布于2012年，這是一個重放攻擊人臉數據集，包含50個人的1300個視頻。所有的視頻都是通過讓一個（真正的）客戶端試圖通過內置的網絡攝像頭訪問筆記本電腦或者通過顯示同一客戶端的照片或視頻至少記錄了9秒后生成，分辨率為320×240像素。
(3) 3DMask Attack
數據集地址：https://www.idiap.ch/dataset/3dmad。
發布于2013年，包含了17個人的76500張圖片，使用Kinect進行采集。每一個人采集了3組視頻，前兩組為真實視頻，第三組掩碼攻擊圖。
每一組視頻包含了5個視頻，每一個視頻300幀，每個幀包括一幅深度圖像、相應的RGB圖像和手動標注的眼睛位置。其中每幀分辨率是640×480，包含8位rgb圖像和11位深度圖像，采集者姿態是正面，無表情。
(4) MSU USSA
數據集地址：http://biometrics.cse.msu.edu/Publications/Databases/MSU_USSA/。
發布于2016年，這是一個活體檢測數據集，包含9000張圖片，其中1000張為真實圖，8000張為偽造圖，即非活體圖。
(5) SiW
數據集地址：http://cvlab.cse.msu.edu/siw-spoof-in-the-wild-database.html。
發布于2016年，這是一個活體檢測數據集，包含165個人，每個人包含8段真實的視頻，多達20段偽造的視頻，總共4478個視頻。視頻的分辨率為1080p，幀率是30fps。
(6) WFFD
數據集地址：https://arxiv.org/abs/1906.11900。
發布于2019年，這是一個3D人臉蠟像數據集，總共包含2200對真實人臉和蠟像人臉圖。
(7) CASIA-SURF
數據集地址：https://sites.google.com/qq.com/chalearnfacespoofingattackdete/。
發布于2019年，這是一個活體檢測數據集，包括1000個人的21000個視頻，數據集通過Intel RealSense SR300相機在不同的室內背景下采集得到，同時采集RGB、Depth和InfraRed（IR）視頻。其中RGB圖片分辨率1280×720，Depth和IR的分辨率為640×480。
每一個樣本會錄制一個真實視頻以及6個攻擊視頻，攻擊類型包括遮擋住眼睛、鼻子、嘴巴等區域。
2.2 人臉偽造數據集
(1) FaceForensics++
數據集地址：https://github.com/ondyari/FaceForensics。
發布于2019年，這是一個偽造人臉數據集，使用了Face2Face、FaceSwap、DeepFakes及NeuralTextures共4種換臉算法對1000個真實視頻進行處理，各自得到了510207張真假臉對應的圖像。
(2) DFW
數據集地址：http://iab-rubric.org/resources/dfw.html。
發布于2018年，包括1000人的11157張圖片，它是IBM發布的一個人臉數據集，主要包括遮擋和偽造人臉。每一個人都有一張正臉圖，其中903張人有一個驗證圖，兩者構成正常的人臉驗證對。所有1000個人都有一些包括妝造圖，874個人有一些被識別成該人（故意的或者非故意的）的偽造圖，最終總共1000張整成圖、903張驗證圖、4814張妝造圖、4440張偽造（另一個人）圖。
除此之外還有一些其他較小的人臉偽造數據集，感興趣的讀者可以自行。
- 人臉風格化數據集
人臉的風格化在娛樂社交領域里有非常廣泛的應用，是近些年的研究熱點。
(1) CUFSF
數據集地址：http://mmlab.ie.cuhk.edu.hk/archive/cufsf/。
發布于2009年，這是一個人像素描數據集，原圖來自于FERET，有1195張成對的灰色正面肖像圖和對應的素描圖。
(2) IIIT-CFW1.0
數據集地址：http://cvlab.cse.msu.edu/siw-spoof-in-the-wild-database.html。
發布于2016年，包含100個名人的8928張卡通圖片，同時也附帶了1000張真實圖。
(3) CartoonSet10/100k
數據集地址：https://google.github.io/cartoonset/download.html。
發布于2017年，有兩個子集，CartoonSet10k和CartoonSet100k，分別包含10000和100000張卡通人臉圖。每一張卡通人臉圖都有16個組件，其中12個面部屬性和4個顏色屬性。
其中顏色屬性來自于一個離散的RGB集合，每一個屬性的種類可以低至3種，高達11種。比如chin的長度就包括short、medium、long一共三種，而發型就有111種。所有屬性及其集合大小統計如下：
藝術風格總共包括：3種下巴長度(chin_length)、3種眼睛角度(eye_angle)、2種睫毛可見與否屬性(eye_lashes)、2種眼瞼樣式(eye_lid)、14種眉毛形狀(eyebrow_shape)、2種眉毛寬度(eyebrow_weight)、7種臉型(face_shape)、15種面部發型(facial_hair，包括光頭)、12種眼鏡(glasses，包括無眼鏡)、111種頭部發型(head
hair)。
顏色風格包括：5種眼虹膜顏色(eye_color)、11種面部皮膚顏色(face_color)、7種眼鏡顏色(glasses_color)、10種頭發顏色(hair_color)。
比例風格包括：3種眼睛眉毛距離(eye_eyebrow_distance)、3種眼縫大小(eye_slant)、4種眉毛厚度(eyebrow_thickness)、3種眉毛寬度(eyebrow_width)。
所有的元素及其變種都是由同一個藝術家Shiraz
Fuman繪制而成，最終得到約250個卡通藝術元素，可以組合成約108種樣式。所有的藝術元素都是采用順序分層的方式方便進行渲染，比如臉型需要依賴于眼睛和眼睛，而發型比較復雜有兩個元素，一個在人臉上一層，一個在人臉下一層，總共有8層，頭發背景、人臉、頭發前景、眼睛、眼睫毛、嘴巴、面部頭發、眼鏡。
從屬性到藝術的映射也是有藝術家確定的，這樣任意一個屬性的選擇都能獲得視覺好看的效果，而不至于對不齊，有時候需要一些交互，比如不同臉型的“短胡子”屬性的創作。
(4) self2anime
數據集地址：https://github.com/taki0112/UGATIT。
發布于2019年，這是一個漫畫人臉數據集，首先使用漫畫人臉檢測算法對Anime-Planet1上的圖片進行了檢測，最后留下了女性的人臉圖共3500張，其中3400張作為訓練，100張作為測試。
其他還有一些比較小和老的數據集，這里就不做過多的介紹，感興趣的讀者可以自行去了解更多。
- 人臉姿態與3D數據集
人臉的姿態估計在考勤，支付以及各類社交應用中有非常廣泛的應用。三維人臉重建在大姿態人臉關鍵點的提取，表情遷移等領域有非常重大的研究意義，也是目前人臉領域的研究重點。
4.1 人臉姿態數據集
(1) Bosphorus Database
數據集地址：http://bosphorus.ee.boun.edu.tr/default.aspx。
發布于2009年，這是一個研究三維人臉表情的數據集，通過結構光采集。包含105個人，4666張人臉，每一個人臉有35種表情以及不同的仿真姿態。
(2) BIWI
數據集地址：http://www.vision.ee.ethz.ch/datasets/b3dac2.en.html。
發布于2010年，包含1000個高質量的3D掃描儀和專業麥克風采集的3D數據，其中14個人，6個男性，8個女性。采集以每秒25幀的速度獲取密集的動態面部掃描。
(3) Head Pose Image
數據集地址：http://www-prima.inrialpes.fr/perso/Gourier/Faces/HPDatabase.html。
發布于2013年，為灰度圖數據集，在實驗室采集，標注包括垂直角度和水平角度。包括5580張圖，其中372個人，每個人15張圖。
(4) BIWI kinect_headpose
數據集地址：https://data.vision.ee.ethz.ch/cvl/gfanelli/head_pose/head_forest.html。
發布于2013年，使用kinect進行采集，包含20個人的15000張圖片，有3D的標注，圖片大小為640×480。
(5) TMU
數據集地址：http://www.facedbv.com。
發布于2015年，這是一個面部視頻數據庫，包含31500個100名志愿者的視頻。每個志愿者在7個照明條件下由9組同步網絡攝像頭拍攝，并被要求完成一系列指定的動作，有不同的遮擋，照明、姿勢和表情的面部變化。與現有數據庫相比，THU人臉數據庫提供了具有嚴格時間同步的多視圖視頻序列，從而能夠對注視校正方法進行評估。
(6) UPNA Head Pose Database
數據集地址：http://gi4e.unavarra.es/databases/hpdb/。
發布于2016年，10個人，其中6個男性，4個女性，每個人12個視頻，6個規定的動作，6個自由的動作。分辨率1280×720，30fps，每一個視頻10s，有3D標注信息。
4.2 人臉重建數據集
(1) Basel Face Model
數據集地址：https://faces.dmi.unibas.ch/。
發布于2009年，這是使用3DMM模型構建的數據集，通過結構光和激光進行采集，未處理前每一個模型由70000個點描述，處理后由53490個點描述。在數據庫的處理過程中，將所有模型的每一個點的位置都進行了精確的一一匹配，也就是說，每一個點都有實際的物理意義，可能有右嘴角，可能是鼻尖。
數據集包含100個男性和100個女性的3D掃描數據，是人臉三維重建領域影響最大的數據集，堪稱3D人臉領域的“hello world”。在該數據集中，還標注了表情系數，紋理系數，68個關鍵點的坐標，以及相機的7個系數。
BFM數據集如今已經更新了多次，包括BFM2017，BFM2019，讀者可以自行關注。
(2) FaceWarehouse
數據集地址：http://www.kunzhou.net/#facewarehouse。
發布于2014年，這是浙江大學周昆實驗室開源的3D人臉數據集，與3DMM數據集的構建相似，不過數據集是中國人。共包含了150個人，年齡從7-80歲。相比于3DMM數據集，它增加了表情，每個人包含了20種不同的表情、1個中性表情、19個張嘴、微笑等表情。
其他的還有USF Human ID
3-D Database，ICT-3DHP database，IDIAP等，讀者可以線下了解。由于3D數據集的構建代價很高，所以仿真數據集經常被使用，即通過從2D圖像構建3D模型然后進行姿態仿真。當然另一方面，研究擺脫3D數據集的運用的方法也不斷被提出，而且精度已經和基于3D數據集的方法可以比拼，因此這可能也是未來的重要研究方向。
(3) 300W-LP
數據集地址：http://www.cbsr.ia.ac.cn/users/xiangyuzhu/projects/3DDFA/main.htm。
這是基于300W數據集和3DMM模型仿真得到的3D數據集，這是3D領域里使用最大，使用最廣泛的仿真數據集，包含了68個關鍵點，相機參數以及3DMM模型的系數的標注。
總結
以上是生活随笔為你收集整理的人脸识别数据集精粹（上）的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： CUDA运行时 Runtime（二）
- 下一篇： 人脸识别数据集精粹（下）