Micro-expression recognition: an updated review of current trends,challenges and solutions

作者：Kam Meng Goh1 · Chee How Ng?· Li Li Lim?· U. U. Sheikh

發(fā)表時間：2018

微表情（Micro-expression）識別近幾年來引起了多個計算機視覺領域的極大興趣，尤其是定位、運動放大和識別領域。ME識別的挑戰(zhàn)來自于ME變化持續(xù)時間短和運動強度微弱。

1.簡介

微表情是人臉面部的微弱運動，持續(xù)時間在1/25s~1/5s之間。微表情的研究提供了在真實情感被故意掩蓋和隱藏時揭示短暫而無意發(fā)生的真實情緒的能力。當前的研究表明，ME通常發(fā)生在高風險的情況下，實時監(jiān)測具有很高的挑戰(zhàn)性。與宏表情相比，微表情很難偽裝或隱藏使得它成為測謊的有效證據(jù)。Ekman研發(fā)了微表情訓練工具Micro-Expression Training Tool(METT)來訓練微表情識別。據(jù)此，Ekman把人類情感分為7中主要類別：生氣、高興、上心、厭惡、驚訝、恐懼和蔑視。另外，Ekman和Friesen引入了面部動作編碼系統(tǒng)（Facial Action Coding System ，FACS) 來根據(jù)動作單元(action units，AU )定義面部表情。AU是面部運動的可觀察組件，不同的面部區(qū)域用來檢測面部細微的的表情變化。一共有44種AU獨立或者同時發(fā)生來表達人臉表情。然而，由于微表情持續(xù)時間只有不到0.5且強度很低，人根據(jù)AU的識別精度只有40%左右。因此，亟需微表情的分辨、識別和分析系統(tǒng)。

使用計算機視覺的方式，微表情識別已經(jīng)有許多相關研究。然而，對于微表情的檢測與識別精度影響較大的環(huán)境變化、無意識的微弱面部運動以及不平衡的數(shù)據(jù)集問題至今并沒有得到很好的解決。當前存在問題如下：

1.環(huán)境影響

在微表情識別中最大的挑戰(zhàn)就是環(huán)境變化，包括光照變化和人的頭部姿態(tài)變化。對于光照變化，大多數(shù)識別特征都嚴重依賴于像素變化的強度，例如局部二值模式(Local Binary Pattern ,LBP)、光流和方向梯度直方圖(Histogram of Oriented Gradient,HOG).光線變化會導致錯誤的特征評估，頭部運動、頭部姿態(tài)變化都會被誤認為是微表情。微弱的頭部運動會很大程度上影響面部組件的變化，最終影響檢測精度。

2.無意識的微弱面部運動

面部無意識的低強度微弱運動導致裸眼無法分辨準確的識別情緒，是微表情識別的重要挑戰(zhàn)。通常，分類器會把微弱的運動錯誤的表達為平靜面部。因此，數(shù)據(jù)預處理階段放大和增強微弱面部運動信號至關重要。

3.數(shù)據(jù)集不均衡

針對微表情識別的可用數(shù)據(jù)集很少，例如SMIC、CASME、CASMEII、CAS(ME)2等，這些數(shù)據(jù)集是現(xiàn)存的用于微表情識別的推薦數(shù)據(jù)集，但是其情緒類別間數(shù)據(jù)分布不均衡會導致檢測結(jié)果的誤差。另外，可用數(shù)據(jù)集往往在光照變化控制的環(huán)境下拍攝，樣本對象頭部基本不會有運動變化的情況。因此，使用這些數(shù)據(jù)集測試良好的數(shù)據(jù)集在通用場景中可能并不能很好的識別，亟需通用場景的微表情識別數(shù)據(jù)集。

本文貢獻：

（1）提供了微表情的發(fā)現(xiàn)方法的綜述。

（2）現(xiàn)存的識別特征分為低級特征、中級特征、高級特征。

（3）分析了微表情識別的性能評估方法流程。

（4）分析了當前微表情識別數(shù)據(jù)集的優(yōu)點和不足。

2.介紹

2.1數(shù)據(jù)集

2.2 通用流程

微表情識別可以分為：圖像采集、面部識別、預處理、微表情發(fā)現(xiàn)、特征提取、微表情分類。如圖所示：

圖像采集：使用高速攝像頭來采集至關重要，因為裸眼或者低幀率的視頻很難檢測到面部組件的快速微弱運動。微表情發(fā)現(xiàn)和識別之前要對面部表情做預處理。首先，對采集的圖像檢測人臉并把面部區(qū)域從背景中分割出來，然后把面部映射到原型臉來削弱頭部姿態(tài)變化產(chǎn)生的影響。

預處理：圖像預處理來克服光線變化或者噪聲的影響，然后使用運動放大技術放大面部局部感興趣的區(qū)域。增強后的圖像用于微表情發(fā)現(xiàn)、特征提取和分類。然而，當前微表情發(fā)現(xiàn)的工作較少，當前主流的研究是關于微表情發(fā)現(xiàn)后的特征選擇和分類方法。圖像或者視頻中微表情發(fā)現(xiàn)的研究是未來的研究方向。

2.3數(shù)據(jù)預處理

微表情識別的數(shù)據(jù)預處理流程主要包括面部檢測、面部校正、運動放大和時域歸一化，面部校正后的人臉經(jīng)過歸一化以后，過濾了噪聲并加強了用于更好提升性能的可用特征。相關處理方法包括微弱特征放大、時域歸一化以及Wiener濾波或者高斯濾波來過濾噪聲。

3.微表情表示的特征

用于微表情表征的特征是用于分類的特征。分為低級特征、中級特征和高級特征。

3.1低級特征

低級特征為從圖像中直接提取出來的特征，例如強度、時域強度、梯度等。低級特征通常以描述符的形式表示，描述符包含一組沒有明確語義含義/知識的可視化數(shù)據(jù)線索，主要包括局部二值模式(LBP)，光流，梯度，以及它們各自的變體。

3.2中級特征

當前存在的主要方法利用面部整體或者不同區(qū)域的時間和空間特征進行分類。然而，低級特征對于表達持續(xù)時間短、強度低、有噪聲和頭部姿態(tài)變化的微弱運動是不充分的。因此，中級特征來把低級特征整合為有更強描述能力的更豐富的特征。

中級特征轉(zhuǎn)換低級特征為用于分類的圖像表征，增加權(quán)重來給局部特征以明確的含義與知識。這類提取的描述符將以圖像級信息的視覺詞內(nèi)容來表示，而不是簡單的沒有明確含義的視覺線索。最常見的中層技術是在情感識別中常用的詞袋模型bag-of-words (BoW)。

目前存在的兩個中級特征的方法：

1）He, J., Hu, J.-F., Lu, X., Zheng,W.-S.:Multi-taskmid-levelfeature learning for micro-expression recognition. Pattern Recognit. 66, 44–52 (2017)

2）Zheng, H., Zhu, J., Yang, Z., Jin, Z.: Effective micro-expression? recognition using relaxed K-SVD algorithm. Int. J. Mach. Learn.? Cybern. 8(6), 2043–2049 (2017)

3.3高級特征

高級表示可以定義為一組人類可解釋的語義數(shù)據(jù)，其中高級特性是幾個低級特性的組合。例如在面部認證中，一系列信息作為高級特征，例如年齡、性別、膚色等，這些語義信息可以用低級特征如顏色或者紋理等信息中提取。低級特征又稱為手工特征，從像素中提取，送入分類器中用于認證。另外，高級方法傾向于特征學習，也就是從原始輸入圖像中學習和理解。

當前ME的soat的高級表征識別方法主要由CNN方法提取。CNN從大量標記好的樣本數(shù)據(jù)中提取特征，低層用于提取低級特征，高層用于提取高級特征。

針對現(xiàn)有微表情數(shù)據(jù)集數(shù)據(jù)量少容易導致CNN模型過擬合的問題

1）模型采用在ImageNet數(shù)據(jù)集預訓練的方式

2）模型在宏表情數(shù)據(jù)集如CK+上訓練后，通過遷移學習的方式遷移到微表情數(shù)據(jù)集進行訓練

3）針對數(shù)據(jù)量少的問題，采用數(shù)據(jù)擴增的方式進行數(shù)據(jù)擴充。例如樣本圖片水平翻轉(zhuǎn)、裁剪、校正等。

另外，還可以根據(jù)結(jié)合時域插幀方法對微表情視頻序列進行時間對齊，然后提取特征后進行分類。主要方法有：

1）結(jié)合時域插幀和DCNN的MER

Mayya, V., Pai, R.M., Pai, M.M.M.: Combining temporal interpolation and DCNN for faster recognition of micro-expressions? in video sequences. In: International Conference on dvances in?Computing, Communicati

2）多時域尺度卷積神經(jīng)網(wǎng)絡識別無意識面部微動作。該方法簡化了雙流網(wǎng)絡，模型中不同流用于處理不同幀率的ME視頻。作者的研究結(jié)果，比FDM等傳統(tǒng)方法精度提升10%

Peng, M., Wang, C., Chen, T., Liu, G., Fu, X.: Dual temporal scale?convolutional neural network for micro-expression recognition.?Front. Psychol. 8, 1745 (2017)
3）CNN+LSTM方法處理ME視頻中的時空信息。

Kim, D.H., Baddar, W., Jang, J., Ro, Y.M.: Multi-objective based?spatio-temporal feature representation learning robust to expression intensity variations for facial expression recognition. IEEE?Trans. Affect Comput. 66(99), 1–1 (2017)
4）深度級聯(lián)peak-piloted網(wǎng)絡(DPCN)，識別微弱表情。此方法在CK+數(shù)據(jù)集的準確率達到99.6%

基于CNN方法的微表情識別存在的主要問題是當前用于微表情識別的數(shù)據(jù)量很少。

4 微表情發(fā)現(xiàn)

4.1 基于外觀特征

主要基于像素級別的特征，尤其是特征強度值。例如通過計算LBP的距離來計算特征差作為微表情發(fā)現(xiàn)的特征。基于強度的特征，使用3D梯度直方圖算子或者方向梯度直方圖。

4.2 動態(tài)方法

在動態(tài)方法中，使用提取的運動變化的微弱表情非剛性運動變化，例如光流或者光強。或者使用面部動態(tài)圖(facial dynamic map,FDM)對面部組件的運動建模，并基于光流進行像素級別的校正。

4.3 通用方法

（1）提出 micro-expression spotting benchmark (MESB)，結(jié)合多尺度滑動窗口進行微表情發(fā)現(xiàn)，并提供微表情發(fā)現(xiàn)方法的標準性能評估方法。在該方法中，假設微表情發(fā)現(xiàn)問題是二進制分類任務。兩個評估方法：1）基于滑動窗口(是否含有微表情)量化二進制分類的性能 2）基于檢測窗口的最終輸出結(jié)果。評估TP、FP和缺失樣本。

- Hong, X., Tran, T.-K., Zhao, G.: Micro-Expression Spotting: A Benchmark. CoRR bs/1710.02820 (2017)
- Tran, T.-K., Hong, X., Zhao, G.: Sliding window based microexpression spotting: a enchmark. In: Cham 2017. Advanced
Concepts for Intelligent Vision Systems, pp. 542–553. Springer
?

?

?

?

?

?

總結(jié)

以上是生活随笔為你收集整理的论文笔记：微表情识别综述1的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。