摘 要：人臉檢測研究在近幾十年的時(shí)間內(nèi)取得了長足的進(jìn)步，在生活中的各個(gè)方面得到了廣泛的應(yīng)用。本文首先對(duì)人臉檢測進(jìn)行了簡單的介紹，然后介紹了人臉檢測的兩個(gè)比較大的評(píng)測網(wǎng)站，人臉檢測的評(píng)價(jià)指標(biāo)，在后續(xù)介紹了最近人臉檢測的一些綜述性文章以及近幾年人臉檢測的發(fā)展情況。

?

關(guān)鍵字：人臉檢測 評(píng)價(jià)指標(biāo) 綜述 發(fā)展

?

Recent Advances in FaceDetection

LIU Heng

(University of the ChineseAcademy of Sciences)

Abstract: the research of face detection has made great progress in recentdecades, and it has been widely used in all aspects of life. Firstly the facedetection were introduced, and then introduces the face detection of tworelatively large web site evaluation, evaluation indexes for the facedetection, in the subsequent introduced recent face detection of a series ofreview articles and in recent years, the development of face detection.

?

Key words: face detection evaluation index development

?

?

1 引言

人臉檢測問題最初來源于人臉識(shí)別（Face Recognition）。人臉識(shí)別的研究可以追溯到上個(gè)世紀(jì)六、七十年代，經(jīng)過幾十年的曲折發(fā)展已日趨成熟。人臉檢測是自動(dòng)人臉識(shí)別系統(tǒng)中的一個(gè)關(guān)鍵環(huán)節(jié)。早期的人臉識(shí)別研究主要針對(duì)具有較強(qiáng)約束條件的人臉圖象（如無背景的圖象），往往假設(shè)人臉位置一直或者容易獲得，因此人臉檢測問題并未受到重視。隨著電子商務(wù)等應(yīng)用的發(fā)展，人臉識(shí)別成為最有潛力的生物身份驗(yàn)證手段，這種應(yīng)用背景要求自動(dòng)人臉識(shí)別系統(tǒng)能夠?qū)σ话銏D象具有一定的識(shí)別能力，由此所面臨的一系列問題使得人臉檢測開始作為一個(gè)獨(dú)立的課題受到研究者的重視。今天，人臉檢測的應(yīng)用背景已經(jīng)遠(yuǎn)遠(yuǎn)超出了人臉識(shí)別系統(tǒng)的范疇，在基于內(nèi)容的檢索、數(shù)字視頻處理、視頻檢測等方面有著重要的應(yīng)用價(jià)值。

?

2 人臉測評(píng)網(wǎng)站

?????? 1：Face Detection Data Set and Benchmark（FDDB）

? ??FDDB是由馬薩諸塞大學(xué)計(jì)算機(jī)系維護(hù)的一套公開數(shù)據(jù)庫，為來自全世界的研究者提供一個(gè)標(biāo)準(zhǔn)的人臉檢測評(píng)測平臺(tái)，其中涵蓋在自然環(huán)境下的各種姿態(tài)的人臉；該校還維護(hù)了LFW等知名人臉數(shù)據(jù)庫供研究者做人臉識(shí)別的研究。作為全世界最具權(quán)威的人臉檢測評(píng)測平臺(tái)之一，FDDB使用Faces in the Wild數(shù)據(jù)庫中的包含5171張人臉的2845張圖片作為測試集，而其公布的評(píng)測集也代表了人臉檢測的世界最高水平。FDDB更新更及時(shí)一些。

2：Fine-grained evaluation of face detection in the wild

該測試網(wǎng)站是由李子青老師的研究組創(chuàng)立和維護(hù)的，其性能評(píng)估更細(xì)致，分析不同分辨率、角度、性別、年齡等條件下的算法準(zhǔn)確率。該測試集更新沒有FDDB及時(shí)。

?

3人臉檢測指標(biāo)

?	正類	無關(guān)類
被檢測到	True Positives	False Positives
未被檢測到	False Negatives	True Negatives

True Positives: TP 正類判定為正類

False Positives: FP 負(fù)類判定為正類

False Negatives： FN 正類判定為負(fù)類

True Negatives： TN 負(fù)類判定為負(fù)類

精確率(precision)

它計(jì)算的是所有被檢索到的個(gè)數(shù)（TP+FP）中”應(yīng)該被檢索到的個(gè)數(shù)（TP）”占的比例。

?召回率(recall)

它計(jì)算的是? 正樣本正確判斷正樣本的結(jié)果數(shù) / 正樣本實(shí)際數(shù)。

?F-Measure

定義為P和 R 的調(diào)和平均數(shù)。

可得:

F-Measure又稱為F-Score，是信息檢索領(lǐng)域的常用的一個(gè)評(píng)價(jià)標(biāo)準(zhǔn)，計(jì)算公式為：其中β?是參數(shù)，P是精確率(Precision)，R是召回率(Recall)。

當(dāng)參數(shù)β=1時(shí)，就是最常見的F1-Measure了：

“召回率”與“準(zhǔn)確率”雖然沒有必然的關(guān)系（從上面公式中可以看到），然而在大規(guī)模數(shù)據(jù)集合中，這兩個(gè)指標(biāo)卻是相互制約的。

? ?? ? 由于“檢索策略”并不完美，希望更多相關(guān)的文檔被檢索到時(shí)，放寬“檢索策略”時(shí)，往往也會(huì)伴隨出現(xiàn)一些不相關(guān)的結(jié)果，從而使準(zhǔn)確率受到影響。

? ?? ? 而希望去除檢索結(jié)果中的不相關(guān)文檔時(shí)，務(wù)必要將“檢索策略”定的更加嚴(yán)格，這樣也會(huì)使有一些相關(guān)的文檔不再能被檢索到，從而使召回率受到影響。

? ?? ? 凡是涉及到大規(guī)模數(shù)據(jù)集合的檢索和選取，都涉及到“召回率”和“準(zhǔn)確率”這兩個(gè)指標(biāo)。而由于兩個(gè)指標(biāo)相互制約，我們通常也會(huì)根據(jù)需要為“檢索策略”選擇一個(gè)合適的度，不能太嚴(yán)格也不能太松，尋求在召回率和準(zhǔn)確率中間的一個(gè)平衡點(diǎn)。

?

4近幾年人臉檢測的survey

1）2010年微軟zhang cha和張正友撰寫的人臉檢測的綜述報(bào)告。

這篇報(bào)告調(diào)查了在2010年以前的幾十年中，人臉檢測的一些重要算法的發(fā)展過程。首先介紹了seminal Viola-Jones人臉檢測器，然后介紹了采取不同的特征提取和學(xué)習(xí)算法而得來的人臉檢測方法。這邊文章希望通過審查許多現(xiàn)有的算法，來研究更好的算法來解決這個(gè)問題。在這篇文章中給出了提琴-瓊斯的人臉檢測的概述，這也促使許多人臉檢測中的研究進(jìn)展，對(duì)人臉檢測的兩個(gè)關(guān)鍵問題的解決方案：什么樣的特征，并學(xué)習(xí)算法的應(yīng)用。然后總結(jié)了各種人臉檢測特征^[1]。

Feature Type	RepresentativeWorks
Haar-like features and its variations	Haar-like features，Rotated Haar-like features，Rectangular features with structure，Haar-like features on motion filtered image
Pixel-based features	Pixel pairs，Control point set
Binarized features	Modified census transform，LBP features，Locally assembled binary feature
Generic linear features	Anisotropic Gaussian filters，LNMF，Generic linear features with KL boosting
Statistics-based features	Edge orientation histograms，Spectral histogram，Spatial histogram (LBP-based)，HoG and LBP，Region covariance
Composite features	Joint Haar-like features，Sparse feature set
Shape features	Boundary/contour fragments，Edgelet，Shapelet

?

?

?

?

?

?

在這篇調(diào)查中，總結(jié)了各種人臉檢測的機(jī)器學(xué)習(xí)算法：

General Approach	Representative Works
Template matching	Antiface
Bayesian	Bayesian discriminating features
SVM – speed up	Reduced set vectors and approximation
SVM – multiview face detection	SVR based pose estimator，SVR fusion of multiple SVMs，Cascade and bagging，Local and global kernels
Neural networks	Constrained generative model ，Convolutional neural network
Part-based approaches	Wavelet localized parts，SVM component detectors adaptively trained，Overlapping part detectors

這篇文章還提出了2010年之后人臉檢測的未來發(fā)展，最簡單的未來方向是進(jìn)一步提高學(xué)習(xí)算法和功能。Haar特征用于Viola和瓊斯工作的人臉檢測非常簡單有效的，但不理想的任意姿態(tài)的人臉。復(fù)雜的功能可能會(huì)增加計(jì)算的復(fù)雜性，雖然它們可以被使用在一個(gè)后過濾器的形式，仍然是有效的，這可能會(huì)顯著提高檢測器的性能。關(guān)于學(xué)習(xí)，如果所有的功能可以預(yù)先指定，提高學(xué)習(xí)計(jì)劃是很重要的。然而，其他的學(xué)習(xí)算法，如支持向量機(jī)或卷積神經(jīng)網(wǎng)絡(luò)可以經(jīng)常執(zhí)行同樣出色，內(nèi)置的機(jī)制，新的功能生成?，F(xiàn)代的人臉檢測器大多是基于外觀的方法，這意味著他們需要訓(xùn)練數(shù)據(jù)來學(xué)習(xí)的分類。收集大量的地面真實(shí)數(shù)據(jù)仍然是一個(gè)非常昂貴的任務(wù)，這肯定需要更多的研究。無監(jiān)督的或半監(jiān)督的學(xué)習(xí)計(jì)劃將是非常理想的，可以減少所需的數(shù)據(jù)收集的工作。

?2）Stefanos Zafeiriou, Cha Zhang和張正友撰寫了最新的人臉檢測的綜述paper。

最新性能總結(jié)如下^[2]：

可以看出：

1）在過去的10年人臉檢測的性能已經(jīng)有了激動(dòng)人心的提升。
2）這些引人注目的性能提升，主要還是得益于將Viala-Jones的boosting和魯棒性的特征相組合。?

3）始終有15~20%的性能Gap，即使允許一個(gè)相對(duì)較大的FP(大約1000）,始終有15~10%的人臉無法被檢測到。需要特別指出的是這些Gap主要是由于是失焦的人臉（比如模糊的人臉）。
4）在這個(gè)Benchmark中，最好的基于boosting技術(shù)和最好的基于DPM的技術(shù)是比較接近的。當(dāng)然最好的技術(shù)還是boosting和DPM組合在一起的性能。

5人臉檢測的進(jìn)展（按時(shí)間順序）

（1）???JointCascade Face Detection and Alignment. ECCV 2014. D. Chen, S. Ren, Y. Wei, X.Cao, J. Sun.^[3]

這篇文章提出了一個(gè)人臉檢測的新方法，該方法達(dá)到了人臉檢測的精度和速度方面的藝術(shù)新境界。它遵循“升壓級(jí)聯(lián)結(jié)構(gòu)+簡單的功能”的原則。使用簡單的像素差異的功能，帶來的效率上的優(yōu)勢(shì)。檢測器檢測VGA圖像僅需28.6毫秒，超過一般的檢測器1000倍的速度。在具有挑戰(zhàn)性的數(shù)據(jù)集上也能達(dá)到最佳的精度，明顯優(yōu)于現(xiàn)有的所有學(xué)術(shù)界的解決方案。我們的工作表明，準(zhǔn)確的人臉對(duì)齊（面部點(diǎn)的位置），在區(qū)分面孔/非面孔是有幫助的。級(jí)聯(lián)結(jié)構(gòu)已被證明是有效的檢測和校準(zhǔn)算法，這篇文章提出了一個(gè)一般的級(jí)聯(lián)框架，統(tǒng)一了這兩個(gè)任務(wù)。

（2）The fastest deformable part model for objectdetection?J. Yan, Z. Lei, L. Wen, S. Z. Li,?^[4]

這篇文章解決了變形模型的速度瓶頸，具有挑戰(zhàn)性的數(shù)據(jù)集保持檢測的準(zhǔn)確性。采用近端梯度算法逐步學(xué)習(xí)低階濾波器的方式，梯級(jí)部分修剪，neighborhood知道級(jí)聯(lián)提出捕獲攻擊修剪附近地區(qū)的依賴。對(duì)于特征提取，查找表構(gòu)造，以取代昂貴的計(jì)算的方向分區(qū)和大小與簡單的矩陣索引操作。這篇文章所提出的方法（在PASCAL VOC類似精度的方法）比目前最快的DPM快4倍。該方法實(shí)現(xiàn)了對(duì)行人和人臉檢測任務(wù)與幀速率的最高的精度。

（3）Face detection without bells and whistles. ECCV 2014.M. Mathias, R. Benenson, M. Pedersoli and L. Van Gool.^[5]

這篇文章發(fā)現(xiàn)了一個(gè)訓(xùn)練有素的DPM達(dá)到最高的性能，大大提高商業(yè)和研究系統(tǒng)，并證明了一個(gè)基于剛性模板在結(jié)構(gòu)上類似于Viola&Jones detector可以在這個(gè)任務(wù)上達(dá)到類似的性能。這篇文章討論現(xiàn)有的評(píng)價(jià)基準(zhǔn)存在的問題，并提出了一種改進(jìn)的程序，取得了相當(dāng)好的結(jié)果。

（4）A Method for Object Detection Based on Pixel IntensityComparisons Organized in Decision Trees. CoRR 2014. N. Markus, M. Frljak, I. S.Pandzic, J. Ahlberg and R. Forchheimer.^[6]

?????? 這篇文章描述了一個(gè)基于在級(jí)聯(lián)的功能組織優(yōu)化的決策樹集成視覺目標(biāo)檢測方法。樹木在他們的內(nèi)部節(jié)點(diǎn)使用像素強(qiáng)度的比較，這使得他們能夠處理圖像區(qū)域非?？臁Ｍㄟ^一個(gè)人臉檢測問題的實(shí)驗(yàn)分析。所得到的結(jié)果是令人鼓舞的，并表明該方法具有實(shí)用價(jià)值。此外，這篇文章分析了其對(duì)噪聲的敏感性，并顯示如何執(zhí)行快速旋轉(zhuǎn)不變的目標(biāo)檢測。

（5）Aggregate channel features for multi-view face detection..?B.Yang, J. Yan, Z. Lei and S. Z. Li.^[7]

?????? 目前許多的子序列，提高了效率與更強(qiáng)大的學(xué)習(xí)算法用于人臉檢測，但仍然不能滿足需求，不能有效和高效地處理面臨野生大外觀方差的特征表示。為了解決這個(gè)瓶頸，這篇文章借用的概念的信道特征的人臉檢測域，它擴(kuò)展了圖像通道，以不同的類型，如梯度幅值和面向梯度直方圖，因此編碼豐富的信息，在一個(gè)簡單的形式。采用一種新的變種，稱為總的信道特征，使得特征設(shè)計(jì)的全面探索，具有良好的性能和發(fā)現(xiàn)一個(gè)多尺度版特點(diǎn)。為了解決在野外的面孔的姿勢(shì)，提出了一個(gè)多視角的檢測方法，具有得分重新排名和檢測調(diào)整。在學(xué)習(xí)viola-jones框架管道，使用聚合信道的特點(diǎn)，多視角人臉檢測使用總的信道特征，在AFW和FDDB測試數(shù)據(jù)集上和state-of-the-art算法進(jìn)行比較，取得了很好的效果。

（6）A Convolutional Neural Network Cascade for FaceDetection.?H. Li , Z. Lin , X. Shen, J. Brandt and G. Hua.?^[8]

?????? 在現(xiàn)實(shí)世界中的人臉檢測，大的視覺變化，如那些由于姿勢(shì)，表情和燈光，這使得需要一個(gè)先進(jìn)的歧視性模型，以準(zhǔn)確區(qū)分不同的背景。因此，有效的模型的十分重要。為了解決這個(gè)問題，這篇文章提出了一種級(jí)聯(lián)架構(gòu)基于卷積神經(jīng)網(wǎng)絡(luò)（CNN），具有非常強(qiáng)大的判別能力，同時(shí)保持高性能。為了提高定位的有效性，并減少在后期階段的候選人的數(shù)量，每個(gè)校準(zhǔn)階段的輸出用于調(diào)整輸入到后續(xù)階段的檢測窗口位置。該方法在14幀上的VGA分辨率圖像和100 FPS使用GPU的單CPU核心運(yùn)行，并實(shí)現(xiàn)搞笑的檢測性能。

（7）Multi-view Face Detection Using Deep ConvolutionalNeural Networks.?S. S. Farfade, Md. Saberian and Li-Jia Li

?????? 這是yahoo提出的人臉檢測方法。這篇文章考慮的多視角人臉檢測問題。提出了深密的人臉檢測器（ddfd），這種方法，不需要姿勢(shì)/地標(biāo)標(biāo)注，使用一個(gè)基于深度卷積神經(jīng)網(wǎng)絡(luò)模型。所提出的方法具有最小的復(fù)雜性，不像其他最近的深度學(xué)習(xí)對(duì)象檢測方法，它不需要額外的組件，如分割，包圍盒回歸，或支持向量機(jī)分類器。通過使用更好的采樣策略和更復(fù)雜的數(shù)據(jù)增強(qiáng)技術(shù)可以進(jìn)一步提高方法的性能。流行的人臉檢測基準(zhǔn)數(shù)據(jù)集的評(píng)價(jià)表明，與以前的方法相比，該方法有更好的性能。

（8）Face Detection with a 3D Model. ??A. Barbu,N. Lay, G. Gramajo.^[9]

?????? 這篇文章提出了一種基于部分的人臉檢測方法，其中的人臉部分之間的空間關(guān)系表示的一個(gè)隱藏的三維模型與六個(gè)參數(shù)。使用一個(gè)參數(shù)敏感的分類，基于局部二進(jìn)制特征，得到一個(gè)兼容的候選子集，然后通過非最大抑制。在兩個(gè)標(biāo)準(zhǔn)的人臉檢測數(shù)據(jù)集上測試，所提出的基于3D模型的方法獲得的結(jié)果相當(dāng)好^[10]。

?

6 總結(jié)與展望

?????? 用于人臉檢測的早期算法很多且完全不同的^[11][12]?，F(xiàn)在，人臉檢測方法的主要研究圍繞三大家族：（a）基于boosting的方法，（b）應(yīng)用深度卷積神經(jīng)網(wǎng)絡(luò)（DCNNs）（C）基于變形零件（DPM）方法。以往的人臉檢測算法分為他們是否對(duì)光照變化、面部表情，面部姿勢(shì)等魯棒?；贒PMS的人臉檢測方法，具有較好的泛化性能，因?yàn)樗麄儧]有模型的變形。一個(gè)直接的好處是，DPM方法可以有效地使用較小的數(shù)據(jù)訓(xùn)練。

?????? 人臉檢測技術(shù)，目前的成功無疑是歸因于強(qiáng)大的功能，以及這些特征的結(jié)合^[13]。我認(rèn)為人臉檢測未來可以從以下幾個(gè)方面發(fā)展：（1）進(jìn)一步研究對(duì)象的檢測線，在一般情況下，特別是人臉檢測，是如何結(jié)合部分為基礎(chǔ)的方法與升壓為基礎(chǔ)的方法。一個(gè)有效的方法是在相同的級(jí)聯(lián)框架下，通過共同學(xué)習(xí)人臉對(duì)齊和檢測^[15]。（2）結(jié)合現(xiàn)成的預(yù)訓(xùn)練的DCNN結(jié)構(gòu)產(chǎn)生的特征和DPMs進(jìn)行人臉檢測^[16][17]。（3）考慮上下文信息以提高人臉檢測性能。人臉是最有可能與其他身體部位連接，這些其他身體部位可以提供面孔強(qiáng)有力的線索。

?????? 現(xiàn)代的人臉檢測器大多是基于外觀的方法，這意味著他們需要的數(shù)據(jù)來訓(xùn)練分類器。收集大量的真實(shí)數(shù)據(jù)仍然是一個(gè)非常昂貴的任務(wù)，這肯定需要更多的研究。無監(jiān)督或半監(jiān)督的學(xué)習(xí)將是相當(dāng)重要的，以減少所需的數(shù)據(jù)收集的工作量。另一個(gè)問題是從目前的人臉檢測方法訓(xùn)練的圖像，轉(zhuǎn)移到從標(biāo)準(zhǔn)相機(jī)拍攝的人臉檢測器的特殊相機(jī)拍攝的圖像，如全方位攝像機(jī)^[18]。

?????? 人臉檢測仍然是一個(gè)懸而未決的問題，是否一個(gè)人臉檢測器可以檢測任意集合中的人臉。例如當(dāng)一個(gè)新的集合，而不是重新培訓(xùn)的檢測器，它可以適應(yīng)一個(gè)新的圖像數(shù)據(jù)集，而無需訪問原始訓(xùn)練數(shù)據(jù)^[19]。這樣的相機(jī)和環(huán)境的特定的人臉檢測器具有非常高的性能。與其他領(lǐng)域，如語音識(shí)別和手寫識(shí)別，適應(yīng)性已是不可缺少的。一些早期的工作已經(jīng)進(jìn)行了在這方面進(jìn)行了研究^[20][21]，我堅(jiān)信，這是一個(gè)未來工作研究的重要方向。

?

?

?

參考文獻(xiàn)：

[1] A Survey ofRecent Advances in Face Detection Cha Zhang and Zhengyou Zhang June 2010 TechnicalReport MSR-TR-2010-66 Microsoft Research

[2] A Survey onFace Detection in the wild: past, present and future Stefanos Zafeiriou, ChaZhang, Zhengyou Zhang

[3] Joint CascadeFace Detection and Alignment. ECCV 2014. D. Chen, S. Ren, Y. Wei, X. Cao, J.Sun.

[4] The fastestdeformable part model for object detection?J. Yan, Z. Lei, L. Wen, S. Z.Li,?

[5] Face detectionwithout bells and whistles. ECCV 2014. M. Mathias, R. Benenson, M. Pedersoliand L. Van Gool.

[6] A Method forObject Detection Based on Pixel Intensity Comparisons Organized in DecisionTrees. CoRR 2014. N. Markus, M. Frljak, I. S. Pandzic, J. Ahlberg and R.Forchheimer.

[7] Aggregatechannel features for multi-view face detection..?B. Yang, J. Yan, Z. Leiand S. Z. Li.

[8] AConvolutional Neural Network Cascade for Face Detection.?H. Li , Z. Lin ,X. Shen, J. Brandt and G. Hua.?

[9] Multi-viewFace Detection Using Deep Convolutional Neural Networks.?S. S. Farfade,Md. Saberian and Li-Jia Li

[10] FaceDetection with a 3D Model. ??A. Barbu, N. Lay, G. Gramajo.

[11] M.-H. Yang,D. J. Kriegman, N. Ahuja, Detecting faces in images: A survey, IEEE Trans. onPAMI 24 (1) (2002) 34–58.

[12] E. Hjelmas,B. K. Low, Face detection: A survey, Computer Vision and Image Understanding 83(2001) 236–274.

[13] N. Dalal, B.Triggs, Histogram of oriented gradients for human detection, in: Proc. of CVPR,2005.

[14] M. Mathias,R. Benenson, M. Pedersoli, L. V. Gool, Face detection without bells andwhistles, in: ECCV, 2014.

?

[15] D. Chen, S.Ren, Y. Wei, X. Cao, J. Sun, Joint cascade face detection and alignment, in:European Conference on Computer Vision (ECCV) 2014, 2014.

[16] P.-A.Savalle, S. Tsogkas, G. Papandreou, I. Kokkinos, Deformable part models withcnn features, in: 3rd Parts and Attributes Workshop, ECCV, Vol. 8.

[17] R. Girshick,F. Iandola, T. Darrell, J. Malik, Deformable part models are convolutionalneural networks, arXiv preprint arXiv:1409.5403.

[18] Y. Dupuis, X.Savatier, J.-Y. Ertaud, P. Vasseur, Robust radial face detection foromnidirectional vision, Image Processing, IEEE Transactions on 22 (5) (2013)1808–1821.

[19] V. Jain, E.Learned-Miller, Online domain adaptation of a pre-trained cascade ofclassifiers, in: Computer Vision and Pattern Recognition (CVPR), 2011 IEEEConference on, IEEE, 2011, pp. 577–584.

[20] C. Huang, H.Ai, T. Yamashita, S. Lao, M. Kawade, Incremental learning of boosted facedetector, in: Proc. of ICCV, 2007.

[21] C. Zhang, R.Hamid, Z. Zhang, Taylor expansion based classifier adaptation: Application toperson detection, in: Proc. of CVPR, 2008.

總結(jié)

以上是生活随笔為你收集整理的人脸检测研究最新进展的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。