好東西往往都在最后面，請耐心向下滑

傳統(tǒng)方法：

1. SDM：Supervised descent method and its applications to face alignment. CVPR2013

速度：

CPU(i7) - 小于12ms

精度：

評測數(shù)據(jù)集1---300w (Inter-pupil Normalisation)： common: (5.60), challenge: (15.40), Full: (7.52).

評價：

開源代碼完備

Shape跟蹤

梯度下降

2. ERT：One millisecond face alignment with an ensemble of regression trees. CVPR2014

速度：

CPU(i7) - 小于6ms

精度：

評測數(shù)據(jù)集1---300w (Inter-pupil Normalisation)： common: Full: (6.40).

評價：

回歸樹，速度快

靜態(tài)圖片處理效果好，可以處理光照變化較小的圖片，可用于標(biāo)定圖片

有成熟框架，dlib

3. LBF：Face alignment at 3000 fps via regressing local binary features， 2014

速度：

CPU(i5) - PC上至少300fps，最快3000fps

精度：

評測數(shù)據(jù)集1---300w (Inter-pupil Normalisation)： common: (4.95), challenge: (11.98), Full: (6.32). 評測數(shù)據(jù)集2---IBUG: 11.98評測數(shù)據(jù)集3---LFPW: 3.35評測數(shù)據(jù)集4---HELEN: 5.41

評價：

能夠比較好的處理簡單樣本

4. CFSS：Face Alignment by Coarse-to-Fine Shape Searching， 2015

速度：

CPU(i5) - 25fps

精度：

評測數(shù)據(jù)集1---300w (Inter-pupil Normalisation)： common: (4.73), challenge: (9.98), Full: (5.76).

評價：

在300w數(shù)據(jù)集上，效果優(yōu)于LBF和2013年之前的很多方法。在LFPW，Helen數(shù)據(jù)集上比較結(jié)果類似。

---

深度方法：

1. cascade CNN：Deep Convolutional Network Cascade for Facial Point Detection，2013

速度：

GTX1070 - 8msCPU - 120ms

精度：

待補充

評價：

BioID、LFPW數(shù)據(jù)集上與2012年之前的方法做對比，沒有與最新方法比，測試效果一般。CNN級聯(lián)結(jié)構(gòu)。

2. Face++：Extensive facial landmark localization with coarse-to-fine convolutional network cascade，2013

速度： 未知
精度：

評測數(shù)據(jù)集1---300w (Inter-pupil Normalisation)： （Threshold=0.08）threshold=0.08時，51點error=5%，68點error=8%

評價：

沒有與其他方法對比，此方法效果稍微差點。

3. TCDCN：Learning and Transferring Multi-task Deep Representation for Face Alignment，2014

速度：

GTX760 - 1.5msCPU(i5) - 17ms

精度：

評測數(shù)據(jù)集1---300w (Inter-pupil Normalisation)： common: (4.80), challenge: (8.60), Full: (5.54). 評測數(shù)據(jù)集2---IBUG: 9.15

評價：

IBUG數(shù)據(jù)集優(yōu)于LBF的11.98；

AFLW數(shù)據(jù)集上優(yōu)于cascade CNN；

300-W數(shù)據(jù)集上優(yōu)于LBF，對難樣本效果更好。

4. MCSR：M3 CSR: Multi-view, multi-scale and multi-component cascade，2016

速度：

CPU(i7) - 50ms

精度：

評測數(shù)據(jù)集2---IBUG: 5.65

評價：

IBUG優(yōu)于TCDCN的9.15，優(yōu)于LBF的11.98

5. Approaching human level facial landmark localization by deep learning，2016

速度：

CPU(i7) - 500ms

精度：

評測數(shù)據(jù)集1---300w (Inter-pupil Normalisation)： common: (3.43), challenge: (5.72), Full: (3.88). 評測數(shù)據(jù)集2---IBUG: 5.65

評價：

IBUG優(yōu)于TCDCN的9.15，優(yōu)于LBF的11.98

CNN級聯(lián)結(jié)構(gòu)

6. MDM：Mnemonic Descent Method:A recurrent process applied for end-to-end face alignment， 2016

速度： 未知
精度：

評測數(shù)據(jù)集1---300w (Inter-pupil Normalisation)： （LBA論文）common: (4.83), challenge: (10.14), Full: (5.88). （Threshold=0.08） 51點error=4.2%，68點error=6.8%評測數(shù)據(jù)集2---IBUG: 5.65

評價：

CNN+RNN 深度學(xué)習(xí)方法

效果優(yōu)于Face++,yan et al,CFSS。

7. Unconstrained Face Alignment via Cascaded Compositional Learning，2016

速度：

CPU - 350FPS

精度：

評測數(shù)據(jù)集3---AFLW ： 待補充

評價：

使用決策樹;

AFLW上優(yōu)于CFSS，LBF。

8. DRDA：Occlusion-free Face Alignment: Deep Regression Networks Coupled with De-corrupt AutoEncoders，2016

速度：

未知

精度：

評測數(shù)據(jù)集2---IBUG： 待補充

評價：

IBUG數(shù)據(jù)集上，和很多較差方法做對比，效果稍微優(yōu)于LBF。

9. Stacked Hourglass Network for Robust Facial Landmark Localisation, CVPR 2017

速度：

未知

精度：

評測數(shù)據(jù)集1---300w (Inter-pupil Normalisation )：paper: common: 4.12,challenge: 7.00, Full: -. 復(fù)現(xiàn): common: 3.84,challenge: 7.37, Full:4.54.

評價：

添加一篇相關(guān)論文：SHN：Stacked Hourglass Networks for Human Pose Estimation，ECCV 2016

開源：

github[網(wǎng)友實現(xiàn)]：https://github.com/face-alignment-group-of-ahucs/SHN-based-2D-face-alignment

github[網(wǎng)友實現(xiàn)]：https://github.com/raymon-tian/hourglass-facekeypoints-detection

github[網(wǎng)友實現(xiàn)]：https://github.com/deepinx/deep-face-alignment

10. Style Aggregated Network for Facial Landmark Detection, CVPR 2018

速度：

未知

精度：

待補充

評價：

待補充

開源：

github[作者給出]：https://github.com/D-X-Y/landmark-detection

11. Wing Loss for RobustFacial Landmark Localisation with Convolutional Neural Networks. 2018

速度：

GTX1080 TITAN - 60msCPU - 100/15/5 FPS

精度：

評測數(shù)據(jù)集1---300w (Inter-pupil Normalisation )：common: 3.27,challenge: 7.18, Full: 4.04.

評價：

Wing loss.

數(shù)據(jù)均衡PDB

12. LAB：Look at Boundary: A Boundary-Aware Face Alignment Algorithm. CVPR2018.

速度：

GTX1080 TITAN - 60msCPU - 未知

精度：

評測數(shù)據(jù)集1---300w (Inter-pupil Normalisation)： common: (4.20, 3.42, 2.57), challenge: (7.41, 6.98, 4.72), Full: (4.92, 4.12, 2.99). 評測數(shù)據(jù)集1.2---300w (Inter-ocular Normalisation)：common: (2.98, 2.43, 1.85), challenge: (5.19, 4.85, 3.28), Full: (3.49, 2.93, 2.13).

評價：

結(jié)合輪廓

目前已知精度最高

13. DCFE：A Deeply-initialized Coarse-to-fine Ensemble of Regression Trees for Face Alignment. 2018

速度：

環(huán)境：NVidia GeForce GTX 1080 (8GB) GPU Intel Xeon E5-1650 at 3.50GHz (6 cores/12 threads, 32 GB of RAM)C++, Tensorflow , OpenCV libraries.訓(xùn)練時間：48h預(yù)測速度：GTX 1080 (8GB) - 32 FPS，其中 CNN 25ms，ERT-6.25msCPU - 未知

精度：

評測數(shù)據(jù)集1---300w (Inter-pupil Normalisation)： common: (3.83), challenge: (7.54), Full: (4.55). 評測數(shù)據(jù)集1.3---300w (Inter-corners Normalisation)：common: (2.76), challenge: (5.22), Full: (3.24).

評價：

比LAB低，但速度比LAB快

14. PFLD：A Practical Facial Landmark Detector. 2019

速度：

ARM 845 140fps

精度：

評測數(shù)據(jù)集1---300w (Inter-pupil Normalisation)： common: (3.17), challenge: (6.33), Full: (3.76). 評測數(shù)據(jù)集1.3---300w (Inter-ocular Normalisation)：common: (2.96), challenge: (4.98), Full: (3.37).

評價：

打破以往的所有成績，速度最快，在ARM 高通845處理器上可以跑到140fps

在300w上各項成績均能達到最佳

模型非常小巧，模型僅有2.1M，便于移植

基于L2設(shè)計了一個新的loss，該loss能夠針對數(shù)據(jù)的不均衡（姿態(tài)角度/類別）進行損失計算

采用backbone（Mobilenet v2）+ auxiliary （Mobilenet v2），其中輔網(wǎng)Auxiliary僅在訓(xùn)練使用

唯一的不足是，作者只給出了文章和一個APP，沒有開源代碼，只能借鑒其思想

題外話：這篇文章在很多地方描述的還是不到位，有些概念還是沒能夠搞清楚，此外本文列出CED圖也和LAB文章中給出的出入很大，不知道是作者的錯誤，還是我理解有誤。

開源：

paper：https://arxiv.org/pdf/1902.10859.pdf

github[網(wǎng)友復(fù)現(xiàn)]：https://github.com/guoqiangqi/PFLD

15. ODN：Robust Facial Landmark Detection via Occlusion-adaptive Deep Networks. CVPR 2019

速度：

待補

精度：

評測數(shù)據(jù)集1.3---300w (Inter-ocular Normalisation)：common: (3.56 ), challenge: (6.67), Full: (4.17).

評價：

wing loss + LAB

開源：

16. AWing：Adaptive Wing Loss for Robust Face Alignment via Heatmap Regression

速度：

待補

精度：

評測數(shù)據(jù)集1---300w (Inter-pupil Normalisation)： common: (3.77 ), challenge: (6.32), Full: (4.31). 評測數(shù)據(jù)集1.3---300w (Inter-ocular Normalisation)：common: (2.72), challenge: (4.52), Full: (3.07).

評價：

待補

開源：

github: https://github.com/protossw512/AdaptiveWingLoss

17. LUVLi Face Alignment: Estimating Landmarks’ Location, Uncertainty, and Visibility Likel

速度：

精度：

評測數(shù)據(jù)集1.3---300w (Inter-ocular Normalisation)：common: (2.76), challenge: (5.16), Full: (3.23).

評價：

開源：

18. ATF: Towards Robust Face Alignment via Leveraging Similarity and Diversity across Different Datasets

速度：

精度：

評測數(shù)據(jù)集1.3---300w (Inter-ocular Normalisation)：common: (2.76), challenge: (5.16), Full: (3.23).

評價：

開源：

---

指標(biāo)匯總：

1. 數(shù)據(jù)集 300w

2. 數(shù)據(jù)集 WFLW

---

To Do List：

ADD 論文對應(yīng)鏈接

ADD 開源代碼及相關(guān)工具鏈接

ADD 個人評測指標(biāo)和各個平臺速度

ADD 博文解讀

敬請關(guān)注

---

參考博文：

[1] https://blog.csdn.net/xzzppp/article/details/74939823
[2] https://blog.csdn.net/Taily_Duan/article/details/54376467
[3] https://blog.csdn.net/Mynameisyournamewuyu/article/details/85490059
[4] https://blog.csdn.net/wwwhp/article/details/88361422

總結(jié)

以上是生活随笔為你收集整理的【人脸对齐-Landmarks】人脸关键点检测方法及评测汇总的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。